Bernard Stanisław Gozdzki był już posiadaczem, nabytego w 1748 roku od Doroty Chomętowskiej z domu Tarło, wdowy po hetmanie polnym Stanisławie Chomętowskim, murowanego pałacu zwanego pałacem Chomętowskiego. Transakcję tę zakwestionowali członkowie rodziny Chomętowskich, w wyniku czego pałac pozostawał nieużywany i niszczał, aż około 1780 roku został przekazany przez sąd Dominikowi Pieniążkowi.
Wobec tego Gozdzki zburzył dwór Lubomirskich i na jego miejscu wzniósł 15-osiowy murowany pałac z dwoma bocznymi skrzydłami oraz dworkami dla służby. Za pałacem został założony rozległy, rozciągający się do Wisły, tarasowy ogród, u którego stóp znajdował się długi połączony z Wisła staw, w kształcie litery "T". Przed pałacem rozciągał się rozległy plac dochodzący do ulicy Aleksandria, zakończony ogrodzeniem, po którego bokach stały długie drewniane oficyny, zakończone od strony wjazdu pawilonami.
Z racji tego, że Gozdzki rzadko przebywał w Warszawie pałac niszczał. Cały majątek wojewody, w tym nowy pałac, odziedziczyła jego jedyna córka Karolina, po matce Barbarze Małachowskiej. W 1773 roku Karolina poślubiła Janusza Modesta Sanguszkę, lecz małżeństwo zakończyło się rozwodem w 1778 roku.