Tac. Ann. XIII.4., oraz zapewnić tron cesarski dla swojego syna Nerona, otruła swojego męża Klaudiusza. Od tego momentu ogrody były wielokrotnie przebudowywane i rozbudowywane, zaś wielu cesarzy wybierało Ogrody Sallustiusza jako swoje rezydencje, rezygnując przy tym z zamieszkiwania oficjalnej rezydencji cesarskiej na Palatynie. Wśród nich należy wskazać między innymi cesarza Nerwe, który umarł w rezydencji 69 roku n.e. czy mieszkającego w rezydencji Wespazjana.
Wespazjan zgodnie ze swoją polityką otwarcia przybytków cesarskich dla ludu, przekształcił ogromne ogrody na park publiczny. Kolejne ważne prace przeprowadzili cesarze Hadrian i Aurelian, ten ostatni do kompleksu dodał ujeżdżalnię oraz zbudował mury oddzielające część mieszkalną od części cmentarnej. Ogrody przeszły jeszcze znaczną przebudowę w III w. n.e. W 410 roku doszło do splądrowania Rzymu przez Wizygotów dowodzonych przeze Alaryka I. Willa doznała wtedy poważnych zniszczeń z których nie została już nigdy odbudowana. Dokumentacja archeologiczna, która zachowała się od tych czasów, jest bardzo skromna.