Zniszczony podczas wojny trzynastoletniej zamek został szybko odbudowany, wzmocniony i powiększony. Dzięki poczynionym staraniom w czasie ostatniej wojny polsko-krzyżackiej zamek wytrzymał szturmy wojsk mazowiecko-polskich i nie został zdobyty. Wojna jednak zakończyła epokę państwa zakonnego w Prusach.
Podczas ostatniej wojny polsko-krzyżackiej (1519-1521) Ełk znowu był przedmiotem zmagań. Miasto kilkakrotnie zajmowały i rabowały wojska mazowieckie. W 1520 r. zamek był oblegany. W marcu tego roku Mazowszanie dwukrotnie bez powodzenia szturmowali warownię, a od połowy czerwca do 7 lipca trwało regularne oblężenie zamku. Rozbudowana po wojnie trzynastoletniej twierdza krzyżacka, dodatkowo ochraniana wodami jeziora skutecznie obroniła się przed atakami i do końca wojny pozostawała w rękach krzyżackich. Ostatecznie wojna zakończyła się niekorzystnie dla Krzyżaków, jednak zawarty rozejm rozpoczął ponad 130-letni okres pokoju na południowej granicy Prus. W 1525 r. wielki mistrz Albrecht Hohenzollern złożył hołd królowi Polski Zygmuntowi I Staremu. Z mapy znikło państwo zakonne, zastąpione przez świeckie Prusy Książęce. Po sekularyzacji zamek stał się siedzibą książęcego starosty. Ustało zagrożenie militarne ze strony Polski i Litwy, dlatego warownię stopniowo przebudowano na pałac.