W 1832 roku, po upadku Powstania listopadowego, pałac przemieniono na miejsce wypoczynku dygnitarzy wojskowych. Nie posiadał on jednak własnego umeblowania. Ostatni raz gościli w nim książęta zagraniczni w 1879 roku. Wówczas całe umeblowanie przysłane zostało z magazynów Zarządu Pałacowego w Łazienkach. Jak donosiło „Słowo" z 31 stycznia 1911 roku, pałac składał się z 24 pokoi i dodatkowych ubikacji. Od tego okresu datuje się stopniowe popadanie pałacu w ruinę. Od około 1907 roku dzierżawą posiadłości od Zarządu Pałaców Cesarskich był zainteresowany Zarząd Miasta Warszawy, który chciał przekształcić kompleks w park miejski. W 1911 roku posiadłość została wydzierżawiona na okres 25 lat przez byłego dzierżawcę browaru wilanowskiego, niejakiego Włodarczyka, za kwotę 3300 rubli rocznie. W tym czasie folwark łącznie ze stawem i 12 budynkami gospodarczymi zajmował obszar 48 morgów. Włodarczyk wyrąbał wysokopienne drzewa liściaste na obszarze 28 morgów w celu założenia ogrodu owocowego. Po stronie wschodniej pałacu planowana była budowa letnich i zimowych will, która jednak nie doszła do skutku.