Massalski zapisał Werki swej bratanicy, Helenie Apolonii Massalskiej, której wychowaniem się zajmował. Ta, bohaterka skandalu obyczajowego (gdy opuściła swego męża księcia Karola Józefa de Ligne i zamieszkała z żonatym hrabią Wincentym Potockim), nie interesowała się Werkami, a Potocki (który ostatecznie ją poślubił) sprzedał je w 1800 marszałkowi szlachty powiatu wileńskiego Stanisławowi Piotrowi Jasieńskiemu. Ten chciał dokończyć budowę pałacu, nie posiadał jednak wystarczających środków. Mieszkał w jednej z oficyn, drugą wynajmował. Do ruiny pałac doprowadzili żołnierze napoleońscy stacjonujący w nim w 1812 (rok później z kolei przetrzymywani tutaj byli jako jeńcy).
Najprawdopodobniej ok. 1840 pałac odkupił od Jasieńskiego książę Ludwik Sayn-Wittgenstein-Sayn. To właśnie on zadecydował właściwie o dzisiejszym stanie tego miejsca. Przede wszystkim nakazał rozebrać zrujnowany budynek pałacu, na którego miejscu założono skwer z altaną. Natomiast na rezydencję przerobiono pod kierownictwem Bernarda Simona w latach 1842–1844 lewą oficynę, przebudowując ją i wspaniale wyposażając wnętrza. Znalazła się tam m.in. zbrojownia z Nieświeża (pierwsza bowiem żona Wittgensteina była córką Dominika Radziwiłła), a także posągi marmurowe i ok. 200 obrazów (m.in.