Na wiadomość o tym Hieronim Radziejowski zebrał swoich stronników i 5 stycznia nieskutecznie próbował przez kilka godzin odbić pałac.
Pałac został zniszczony w 1656 roku w czasie potopu szwedzkiegoM. Drozdowski, A. Zahorski – [i]Historia Warszawy[/i]. Warszawa: Państwowe Wydawnictwo Naukowe, 1972, s. 58. .. Nie został odbudowany w dawnym kształcie.
W 1661 roku właścicielami nieruchomości zostali Lubomirscy, którzy w 1663 roku przekazali połowę budynku od strony Krakowskiego Przedmieścia karmelitankom bosym na klasztor i kościół. Dostosowując gmach do swoich potrzeb, zakonnice w 1664 roku rozebrały część pałacu – dwie wieże, znajdujący się między nimi taras widokowy, mezzaniano oraz podzieliły dwukondygnacyjną pałacową salę jadalną znajdującą się na piętrze.
W latach 1801–1804 w pałacu mieszkał francuski król na wygnaniu Ludwik XVIII z rodziną i dworem.
W 1818 roku zakon uległ kasacie i budynek przeszedł na własność Warszawskiego Towarzystwa Dobroczynności Res Sacra Miser (łac. ubogi jest świętością), które dokonało kolejnej przebudowy na własne potrzeby.