Wzniesiono dodatkowy mur obronny z bastejami od strony północnej i zachodniej. Umocnienia zamku połączono z umocnieniami miasta. W 1648 i 1704 zamek został dwukrotnie splądrowany przez wojska szwedzkie. Rozebrano też w tym czasie część murów obronnych. Po I rozbiorze Polski został zamieniony na więzienie. Dwa pożary w pierwszych latach XIX w. spowodowały zniszczenia m.in. wieży głównej. Obiekt został opuszczony na kilkanaście lat. W 1822 przekazano go gminie ewangelickiej, która poczyniła w nim kolejne prace remontowe. Przebudowano skrzydło południowe na zbór, zmieniono elewacje m.in. dobudowano szczyt z sygnaturką. Rozebrano krużganki, a w skrzydle wschodnim umieszczono szkołę. W 1931 dokonano odbudowy wież zamkowych, w salach utworzono muzeum. Gruntowny remont został przeprowadzony w latach 1976–1985. Obecnie w zamku znajduje się hotel, a miejscu dawnej kaplicy ewangelickiej powstała w latach osiemdziesiątych galeria sztuki współczesnej. Kościół farny pw. św. Piotra i Pawła – budowę rozpoczęto w 1348 (lub po 1360Rzempołuch A., 1993. Przewodnik po zabytkach sztuki dawnych Prus Wschodnich. Agencja Wyd. „Remix”, Olsztyn.), wzmiankowany w dokumentach w 1402 początkowo była to trójnawowa hala bez prezbiterium, z okazała wieżą od strony zachodniej oraz zakrystia i kruchtą od strony północnej.