Pod koniec XVIII w. decyzją starosty Tadeusza Grabianki na miejscu Domu Małego naprzeciwko drewnianej kancelarii wzniesiono murowany barokowy dwór. Parterowy obiekt z dachem mansardowym postawiony w 1782 z czasem stał się siedzibą urzędów starostwa i sądu ziemskiego. Po przeniesieniu władz administracyjnych do Siedlec stał pusty. Powoli był dewastowany i rozbierany. Uległ ostatecznemu zniszczeniu w latach 1846–1855. Przez pewien czas w zachowanej wieży mieściła się kuźnia.
Wiek XX Po I wojnie światowej dokonano niewielkich prac badawczych i zabezpieczenia ruin. Nie przystąpiono jednak do większych prac budowlanych. Dopiero podczas II wojny światowej ruinami zainteresowały się niemieckie władze okupacyjne wprowadzone w błąd o krzyżackim pochodzeniu warowni przez miejscowego społecznika Otto Warpechowskiego. W latach 1943–1944 cegły z murów zamkowych, które miały zostać pierwotnie wykorzystane jako budulec obozu zagłady w Treblince wróciły na swoje miejsce. Niemcy zabezpieczyli obiekt i rozpoczęli prace przy rekonstrukcji wieży. Przerwali je jednak natychmiast po tym, jak wyszła na jaw prawda historyczna. W 1944 zamek ponownie uległ uszkodzeniu podczas działań wojennych. Po wojnie dokonano zabezpieczenia w formie trwałej ruiny zachowanych gotyckich murów i dokończono rekonstrukcję wieży bramnej.