Katastrofę dla warowni przyniosły działania wojenne podczas potopu szwedzkiego (1655–1658). Oddziały szwedzkie zajęły twierdzę w sierpniu 1655, aby ustąpić z niej pod naporem wojsk Stefana Czarnieckiego w kwietniu 1656 roku. W ręce Szwedów zamek ponownie wpadł w maju 1656. W październiku 1656 nastąpił kolejny szturm wojsk polskich, podczas którego Szwedzi stawiali zacięty opór. Twierdza została wysadzona w powietrze, a eksplozja ładunków wybuchowych zniszczyła skrzydła mieszkalne oraz otaczające wzgórze fortyfikacje bastionowe.
Zamek po zniszczeniach wojennych nie został już odbudowany. W 1773 roku na rozkaz dowódcy miejscowego garnizonu znaczna część pozostałych jeszcze murów i fundamentów została rozebrana, a uzyskany w ten sposób materiał posłużył do budowy koszar pruskich huzarów. W 1774 na terenie dawnego zamku kupcy bracia Schickler, założyli rafinerię cukru trzcinowego, co przyczyniło się do dalszego niszczenia pozostałości po warowni. W 1794 w ruinach warowni bronili się pruscy żołnierze podczas szturmu miasta przez wojsko gen. Jana Henryka Dąbrowskiego.