Sąsiedni budynek po śmierci księcia Kazimierza Poniatowskiego (1800) zmieniał wielokrotnie właścicieli. Podczas gdy byli nimi Radziwiłłowie przypisywano mu funkcję siedziby lożę masońskiejKwiatkowski M., Loża masońska, Stolica: warszawski tygodnik ilustrowany. R. 43, 1988 nr 15 (10 IV), a później od 1887 roku mieścił prywatne Muzeum Zoologiczne założone przez Ksawerego BranickiegoDaszkiewicz P., Iwan D., Kowalski H., Mierzwa-Szymkowiak D. Wanat M., Z dziejów Gabinetu Zoologicznego: materiały z wyprawy do Algierii (1866-1867), Muzeum Uniwersytetu Warszawskiego, 2017. W latach 1935–1938 został gruntownie przebudowany według projektu Bohdana Pniewskiego, który mieszkał tu i tworzył do końca swego życia (willa Pniewskiego)Hryniewiecki J., Kilka uwag o willi we Frascati, Architektura i Budownictwo: miesięcznik ilustrowany, 1938 nr 3. W czasie powstania warszawskiego w 1944 roku budynek stanowił ważny punkt oporu powstańców toczących zacięte walki w rejonie ulicy Książęcej i placu Trzech Krzyży. Pozostał po nich ślad w postaci utrwalonych na marmurowych schodach plam krwi nieznanego uczestnika walk powstańczych, co upamiętniono tablicą.