Główny budynek zamkowy został wyremontowany, a być może także podwyższony. Skuteczność nowych fortyfikacji zweryfikowała wojna polsko-krzyżacka (1519-1521). W 1520 r. wojska mazowieckie dwa razy szturmowały zamek w marcu, a od połowy czerwca do 7 lipca był również nieskutecznie oblegany. W 1541 r. na zamku gościł książę Albrecht Hohenzollern (1490–1568) w związku ze sporem granicznym jaki toczył wówczas z Polską. Z tego czasu pochodzi najstarszy widok zamku i miasta przedstawiony na mapie granicznej sygnowanej datą 1541. Przedstawiony tam zamek obejmuje zabudową całą wyspę. Nad zespołem dominuje główny budynek zamkowy, na lewo od niego znajduje się nieco niższy duży gmach ceglany. Poniżej zaznaczono liczną zabudowę i fortyfikacje, w tym wieże ceglane strzegące mostów.