W 1708 roku zamek był ponownie w rękach szwedzkich.
Po śmierci Augusta Mocnego wybuchła wojna o sukcesję polską, w trakcie której w 1734 roku konfederaci mazowieccy, zwolennicy Stanisława Leszczyńskiego, wywołali pożar, który zniszczył zamek. Od tego czasu niezamieszkana budowla zaczęła popadać w ruinę. W 1750 roku na polecenie hetmana Jana Klemensa Branickiego rozpoczęto rozbiórkę zamku, a okoliczni mieszkańcy wykorzystywali materiał do budowy nowych domów. W 1771 roku pozostałości zamku zostały zniszczone przez powódź. Przystąpiono też do rozbiórki kościoła na kępie. Po 1769 roku rozpoczęto budowę Zespołu Klasztornego Misjonarzy Bernardynów, w którym z polecenia Branickiego zostały wykorzystane cegły z rozbiórki zamku. Po 1915 roku, podczas I wojny światowej, pozostałości murów posłużyły niemieckim żołnierzom do budowy drogi do Knyszyna, natomiast ziemię z dwóch bastionów wykorzystano do usypywania grobli.