Czasy rozbudowy i napraw thumb| Pałac Whitehall, mal. Hendrick Danckerts. Obraz przedstawia króla Karola II podczas przejażdżki w St James’s Park. „Dom na tyłach” widać po prawej; ośmiokątny budynek obok to Cockpit William Pitt Młodszy mieszkał na 10 Downing Street przez dziewiętnaście lat, dłużej niż jakikolwiek premier przed nim i po nim. W jednym z listów do matki określił Numer Dziesiąty jako „wielki, niezgrabny dom” (ang. vast, awkward house).
W XVIII i XIX wieku 10 Downing Street był generalnie postrzegany jako mały, nieciekawy, przeciętny budynek, poniżej standardów, do jakich przywykli rządzący. Gdy William Pitt wprowadzał się tu, fasada budynku wyglądała tak samo jak dziś, dzięki pracom renowatorskim przeprowadzonych pod koniec lat sześćdziesiątych. W tym czasie premierem był ojciec Pitta, ale Numer Dziesiąty zajmował Charles Townsend, kanclerz skarbu państwa. Przed wprowadzeniem się Townsend argumentował, że budynek znajduje się w fatalnym stanie i potrzebuje natychmiastowego remontu. Na jego zlecenie przeprowadzone zostały przez architektów oględziny, w wyniku których niemal natychmiast rozpoczęły się prace remontowe. Wtedy właśnie powstała nowa fasada ukończona w roku 1772. Nie minęło nawet 17 lat od prac rozpoczętych na zlecenie Townsenda, gdy okazało się, że potrzebny jest kolejny, kosztowny remont.