Drogi w utrzymaniu, zaniedbany, walący się budynek kilkakroć był bliski wyburzenia.

W końcu jednak Numer 10 przetrwał i zaczął być kojarzony z wieloma wybitnymi politykami i ważnymi wydarzeniami czasów najnowszych. Brytyjczycy zaczęli doceniać jego historyczną wartość. Jak powiedziała w roku 1985 premier Margaret Thatcher, Numer 10 stał się jednym z najcenniejszych klejnotów dziedzictwa narodowego.

Dzieje budowli „Dom na tyłach” "Dom na tyłach” został wzniesiony około roku 1530 obok pałacu Whitehall, w tamtych czasach głównej siedziby monarchów angielskich. Był jednym z kilku budynków tworzących tzw. „Cockpit Lodgings” (nazwa wzięła się stąd, że przylegały do areny walk kogutów, budowli o niespotykanym, ośmiokątnym kształcie, w XVII wieku przekształconej w salę koncertową, co nie przeszkodziło jej zachować zwyczajową nazwę „Cockpit”).

W czasach Tudorów „dom na tyłach” był miejscem zamieszkania zarządcy pałacu Whitehall Palace, odpowiedzialnego za utrzymanie wszystkich budynków, w tym także Cockpitu. Przez wiele lat mieszkał tu Thomas Knevett (lub Knyvet), znany ze schwytania w roku 1605 Guya Fawkesa i udaremnienia tym samym zamachu na króla Jakuba I.