XI–XIX wiek Po podboju przez Normanów na miejscu rzymskiego fortu zbudowany został donżon. Miejsce to zostało podzielone na części wewnętrzne i zewnętrzne, oddzielone od siebie ogromnym, kamiennym murem. Powstała rezydencja rycerska typu motte. Pierwszy donżon zbudował Robert Fitzhamon, normański lord Gloucester. Wiele wczesnych obiektów obronnych zostało prawdopodobnie zbudowanych z drewna. W kolejnych stuleciach rozbudowywano zamek, który był w posiadaniu wielu rodzin szlacheckich.
Donżon zmienił wygląd ok. 1300 roku, kiedy wybudowano wieżę południową; zbudowano też wewnętrzny dziedziniec i prawdopodobnie Czarną Wieżę (Black Tower). W latach 1429–1439 Richard Beauchamp, hrabia Warwick, wybudował naprzeciwko muru zachodniego poligonalną wieżę i nowe założenie mieszkalne, rozbudowane pod koniec XVI wieku przez Henry’ego Herberta, 2. hrabiego Pembroke. W 1766 roku zamek odziedziczył lord Mountstuart, późniejszy 1. markiz Bute;