Zamek spłonął przed 1603 rokiem i zachowała się z niego jedynie wieża, gdzie trzymano więźniów. W lustracji z 1617-1620 roku napisano, że "ten zamek drzewniany wszystek spustoszał i nie masz w nim nic mieszkania, oprócz jednej izby za teraźniejszego p. starosty zbudowanej, gdzie roki sądzi". Przypuszczalnie zamek został uszkodzony w latach 1656–1657 roku podczas potopu szwedzkiego, ponieważ rok później na sejmiku szlachta opisywała poważne zniszczenia jakich doznało miasto, kościół, akta grodzkie i budynki kancelarii, które przypuszczalnie mieściły się na zamku. Do końca XVIII w. funkcja zamku ograniczała się do pełnienia funkcji siedziby starosty oraz wiskich sądów grodzkich i ziemskich. W XIX wieku murowane budowle rozebrała okoliczna ludność. W trakcie I wojny światowej, w latach 1914–1915 na majdanie i wałach wykopano okopy i stanowiska strzeleckie. Wały zniszczone są przez wykopy archeologiczne z lat 1967–1971, przez drogę wiodącą na majdan z cmentarza, a północny i zachodni stok Góry Zamkowej jest niszczony przez funkcjonowanie cmentarza parafialnego.