Obiekt przypuszczalnie został zniszczony podczas Potopu szwedzkiego pomiędzy latami 1656-1657, ale brak na ten temat bliższych informacji, bo lustracje z lat 1660-1664 nie wspominają nic o dawnym dworze królewskim. Być może odbudowana budowla była już znacznie skromniejsza. W 1789 roku wzmiankowano "Brama z wrotami podwójnemi i furtką z wielkim zamknięciem dobrym. Blisko wjazdu na prawym boku dworek z drzewa sosnowego stary blisko wjazdu. (...) niedaleko dworu folwark, w nim jedna izba mieszkalna, druga naprzeciwko czeladna z komorą". Na miejscu dworu z częściowym wykorzystaniem piwnic pierwotnej budowli wzniesiono w końcu XVIIl lub na początku XIX w. nowy budynek zwany ,,pałacem rządowym", który rozebrano lub przebudowano około roku 1820, a na jego miejscu postawiono nowy budynek. Na podstawie oględzin dokonanych przez Anna Marciniak-Kajzer, stwierdzono istnienie na terenie prywatnego domu, wg tradycji stojącego na terenie dawnego zamku, obecność piwnicy z XVII lub XVIII wieku.