W sierpniu 1783 roku ówczesny lokator Numeru Dziesiątego – diuk Portland – wyprowadził się z domu na czas trwania napraw.
Lata Disraeliego W związku z koniecznością przeprowadzania ciągłych remontów i nikłą atrakcyjnością miejsca, wielu premierów XIX-wiecznej Anglii, jak np. książę Wellington, wolało swoje własne, obszerniejsze i bardziej wystawne londyńskie rezydencje. Pomiędzy rokiem 1742 a 1780 tylko dwóch premierów (Grenville i North) mieszkało w budynku 10 Downing Street. Po 1834 kolejni premierzy unikali mieszkania tu, aż dopiero Benjamin Disraeli wprowadził się w roku 1877. Przez 30 lat – od 1847 do 1877 część mieszkalna była opuszczona.
Disraeli był tym, kto ponownie połączył siedzibę na 10 Downing Street z godnością Pierwszego Lorda Skarbu. Po objęciu teki premiera on również nie miał ochoty przeprowadzić się na Downing Street, jednakże w dwa lata później, podczas kryzysu bliskowschodniego, Disraeli, chory na podagrę 72-latek, dla którego odbycie spaceru z Whitehall Gardens na Downing Street dla odbycia narady gabinetowej było ponad siły, podjął decyzję o zamieszkaniu na miejscu. Stało się to w listopadzie 1877, a przeprowadzkę poprzedził kosztowny (choć niewielki) remont i spór o to, kto ma zapłacić za umeblowanie domu.