Rezydencja powstała w takiej formie z uwagi na chęć właścicielki harmonijnego obcowania z naturą dla siebie i swoich dzieci, zgodnie z zasadami głoszonymi przez Jana Jakuba Rousseau. Wpływ na projekt miał także ogród zbliżony w formie ozdobnej fermy opisany przez Thomasa Whately’ego w "Observations on Modern Gardening" wydanym w Londynie w 1770 roku, a zrealizowanej dla Madame Pompadour przy Petit Trianon w Wersalu w latach 1762–1764 projektu J.A. Gabriela. Całość była jednak założeniem oryginalnym i nowatorskim w skali polskiej i europejskiej.
W końcu XVIII wieku było to bardzo modne miejsce wśród arystokracji. W Powązkach przyjmowano gości, m.in. króla Stanisława Augusta, urządzano zabawy i przedstawienia teatralne, w których występowała Izabela i jej rodzinaG. Pauszer-Klonowska, Pani na Puławach, ss. 49–58..
W roku 1780 miała miejsce tragiczna śmierć najstarszej córki Izabeli, Teresy. Podczas dziecięcych zabaw w Pałacu Błękitnym od ognia z kominka zajęła się jej sukienka, po trzech dniach dziewczynka zmarła na skutek poparzeń. W tym czasie Izabela była właśnie w połogu, urodzona przez nią córka Gabriela również zmarła po kilku dniach.