Późniejsze zmiany thumb|250px|Widok na zamek z góry W latach 1594–1597 z inicjatywy kardynała Andrzeja Batorego, bratanka króla Stefana Batorego, zamek przebudowano. W 1596 roku nadbudowano wieżę główną. Zasadniczo jednak warownię przekształcono w rezydencję. Zamek ostatecznie utracił znaczenie militarne. Często przybywali tu kolejni biskupi warmińscy. Zamek, jak wiele innych, został zniszczony w epoce wojen polsko-szwedzkich. Szwedzi, którzy byli protestantami, ochoczo grabili posiadłości Kościoła katolickiego w całej Europie. Kolejne stulecia nie przyniosły przywrócenia świetności warowni biskupiej.
Po pierwszym rozbiorze Polski królowie pruscy utworzyli na zamku więzienie. W 1806 wybuchł pożar miasta i zamku. Zniszczeniu najbardziej uległa wieża główna. W 1807 wybuchł kolejny, który spustoszył do końca zamek. Po pożarze jedyną ocalałą zabudową była wybudowana pod koniec XVIII wieku część kompleksu szkolno-klasztornego jezuitów składająca się z dwóch piętrowych gmachów szkolnych łączących cechy baroku i klasycyzmuPiotr Skurzyński, Warmia, Mazury, Suwalszczyzna, Wyd. Sport i Turystyka – Muza SA, Warszawa 2004 , s. 150..