Od 1606 roku starostą był Paweł Garwaski. W 1616 roku starostwo wykupił podkomorzy płocki Jan Stanisław Karnkowski, który w 1632 roku scedował je na syna Michała Karnkowskiego. Zamek został srogo spustoszony pomiędzy latami 1656-1657 podczas Potopu szwedzkiego, co stwierdzono w instrukcji z 30 kwietnia 1661. W 1660 roku starostwo objął Ewaryst Jan Bełżecki. W 1715 roku starostą został Michał Szymanowski, który w 1726 scedował je na syna Macieja Michała Szymanowskiego, a ten z kolei w 1762 roku na swego syna Michała Szymanowskiego. Przypuszczalnie podczas pełnienia urzędu przez tego ostatniego zamek został opuszczony, a z opisu z 1765 roku wynika, że warownia była już wtedy w ruinie. Do końca XVIII wieku przetrwała wieloboczna murowana wieża główna i fragment bramy, których częściowy kształt znany jest z rysunków Karola Albertiego. Pozostałości zamku rozebrali miejscowi Żydzi w 1798 roku po III Rozbiorze Polski na zlecenie władz pruskich.