Na początku XIX wieku nad upiększaniem Ogrodu Letniego pracowali najwybitniejsi architekci, m.in. Carlo Rossi. Dodano wtedy nowe pawilony: kawiarnię i herbaciarnię. W 1839 roku król Szwecji Karol XIV Jan podarował imperatorowi Mikołajowi I monumentalną porfirową wazę, która stała się jednym z symboli parku. W czasach Mikołaja Ogród Letni, teraz już ogólnodostępny, stał się jednym z ulubionych miejsc odwiedzanych przez mieszkańców stolicy. Nadal jednak obowiązywała zasada o godziwym ubiorze. W 1855 w Ogrodzie Letnim stanął pomnik Iwana Kryłowa. 4 kwietnia 1866 roku pod bramą Ogrodu Letniego Dmitrij Karakozow próbował zastrzelić imperatora Aleksandra II. Zamach udaremniono, a na miejscu ocalenia cesarza zbudowano kapliczkę upamiętniającą to wydarzenie. Po przewrocie październikowym bolszewicy nakazali jej wyburzenie. W czasie II wojny światowej i blokady Leningradu Ogród Letni poważnie ucierpiał wskutek działań wojennych, lecz jak podają niektóre źródła żadne z historycznych drzew ogrodu nie zostało wówczas ścięte.