W roku 1820 pałac i otaczające go tereny zostały sprzedane przez spadkobierców króla i stały się własnością wielkiego księcia Konstantego, które włączono do pobliskiego majątku Belweder. Wielki książę był przez niektórych badaczy błędnie uważany za fundatora pierwszego założenia pałacowego na terenie sieleckiego folwarku. Wątpliwości związane z czasem powstania budynku i parku wynikały z faktu, że pałac został zbudowany w stylu obowiązującym w Polsce w latach około 1790–1830. Ponadto nie był on wzmiankowany w źródłach pisanych sprzed 1820 roku. Dzięki odnalezieniu planu Warszawy Sotzmanna z 1796 roku możemy dziś z pewnością przyjąć, że słowo „folwark" użyte do opisania posesji, we wspomnianym spisie posesji z 1784 roku, odnosiło się zarówno do parceli, jak i stojącego już na niej pałacu z dwoma oficynami.
Na początku XIX wieku folwarkiem zarządzał Zarząd Księstwa łowickiego należący do żony wielkiego księcia – Joanny Grudzińskiej. Po jej śmierci w 1831 roku, zgodnie ze sporządzonym testamentem, sielecki majątek otrzymał car Mikołaj I.