wdowa po nim przez rok, w 1659. George Monck, 1. diuk Albemarle, generał, który przyczynił się do odtworzenia brytyjskiej monarchii, wprowadził się tu w roku 1660 i mieszkał do śmierci w 1671. Albemarle był pierwszym przewodniczącym Komisji Skarbu (1667–1672), instytucji, które była podstawą powołania do życia instytucji Pierwszego Lorda Skarbu. Jego sekretarzem był baronet George Downing. Albemarle był pierwszą osobą powiązaną ze skarbem królestwa, która mieszkała w miejscu, gdzie w przyszłości mieli osiąść na stałe Pierwsi Lordowie Skarbu i premierzy Wielkiej Brytanii.
Po śmierci Albemarle'a książę orański, późniejszy król Wilhelm III, przypuszczalnie mieszkał w „domu na tyłach” krótko, gdy odwiedzał swego wuja, Karola II. Wiosną roku 1671 posesję przejął George Villiers, 2. książę Buckingham i przebudował ją na koszt rządu.
Po wycofaniu się Buckinghama z życia publicznego w roku 1676, lady Charlotte Fitzroy – nieślubna córka Karola II – wprowadziła się tu po wyjściu za mąż za Wielkiego Koniuszego, earla Lichfield. W czasie przygotowań do ślubu na koszt Korony rezydencję przebudowano powtórnie. Tym razem rozbudowano ogrody, powiększono do trzech liczbę pięter, nie licząc poddasza i piwnic.