Na rok przed zamachem Knevett wyprowadził się z domu na tyłach i zajął sąsiedni budynek, stojący tam, gdzie dzisiejszy Numer 10.

Wielu członków rodziny królewskiej i przedstawicieli rządu zamieszkiwało w „domu na tyłach”. W roku 1604 przebywał tu krótko 4-letni syn Jakuba I, królewicz Karol, przyszły król Karol I. Gdy posesję powiększono o korty tenisowe, gdzie Henryk VIII oddawał się swej ulubionej grze, a jednocześnie dobudowano kuchnie i pomieszczenia dla służby pałacowej, wprowadziła się tu 8-letnia księżniczka Elżbieta, która mieszkała w tym miejscu do roku 1613 kiedy poślubiła Elektora Palatynatu i wyprowadziła się do Hanoweru. Była prababką Jerzego, Elektora Hanoweru, który w roku 1714 został królem Anglii i praprababką króla Jerzego II, który podarował dom Walpole'owi w 1732 roku. W ten oto sposób „dom na tyłach” stał się symbolicznym łącznikiem dwóch dynastii brytyjskich – Stuartów i Hanowerskiej.

Oliver Cromwell mieszkał w tym miejscu w latach 1650-1654;