W 1655 roku w czasie potopu szwedzkiego zamek obsadziły sprzymierzone ze Szwedami wojska Bogusława Radziwiłła. 31 grudnia 1655, kiedy zamek oblegały wojska konfederacji tyszowieckiej, zmarł tu Janusz Radziwiłł. Po pokonaniu wspierających króla Jana Kazimierza wojsk Sapiehów Bogusław Radziwiłł wjechał do obleganego wcześniej zamku 26 lutego 1656 r. Kolejne oblężenie twierdzy było prowadzone przez szlachtę podlaską, wiską i łomżyńską pod dowództwem pułkownika Samuela Oskierki i trwało ono od kwietnia do lipca 1656 roku, gdy Bogusław Radziwiłł ponownie zniósł oblężenie. Ponownie blokada warowni, w której bronili się Szwedzi i część ich polskich stronników (w tym arianie Aleksander i Mikołaj LubienieccyStando Lubentius Moriar [Janusz Tazbir] << KLIKAJ I CZYTAJ ONLINE.) trwała od listopada 1656 i zakończyła się zdobyciem go przez wojska wierne Janowi Kazimierzowi 27 stycznia 1657 roku. Podczas zdobywania zamku pułkownik szwedzki Erskein wysadził część murów zamkowych. Na przełomie lutego i marca twierdzę zajęły wojska brandenbursko-pruskie elektora Fryderyka Wilhelma Hohenzollerna i zwróciły go na przełomie lipca i sierpnia.