w połowie XVII wieku odnotowano w tym miejscu istnienie rezydencji z ogrodami.
W 1679 roku posiadłość nabył , pełniący urząd prokuratora generalnego. Od tego czasu znajduje się ona w posiadaniu jego potomków, którzy, począwszy od jego prawnuka , od 1794 roku tytułowani są hrabiami Carnarvon.
Obecna rezydencja została wzniesiona w XVIII wieku. W 1839 roku rozpoczęto jej przebudowę, która nadała jej obecny kształt zgodnie z projektem Charlesa Barry’ego. W ramach prac dobudowano cztery narożne wieże i większą centralną, które nadają budowli formę wywołującą skojarzenia z Pałacem Westminsterskim (również zaprojektowanym przez Barry’ego, w tym samym okresie). Pierwotnie skromnie zdobione fasady, przebudowane w stylu nawiązującym do , były wzorowane na dworze . Przebudowie poddano również wnętrza, w latach 60. XIX wieku, w co zaangażowany był . Tereny parkowo-ogrodowe w obecnym kształcie zostały zasadniczo rozplanowane pod koniec XVIII wieku, bazują na projekcie stworzonym około 1770 roku przez .