Po sekularyzacji zakonu w 1525 roku ustało zagrożenie militarne ze strony Polski i Litwy. Ełcki zamek stał się siedzibą starostów książęcych, potem stał się także siedzibą sądów grodzkich. Utrata zagrożenia militarnego zaowocowała przebudową zamku w kierunku wygody i reprezentacyjności, która nastąpiła najpierw około poł. XVI w., a następnie na przełomie XVI i XVII w. W efekcie zamek zyskał wygląd pałacowy, nawiązujący do stylu renesansowegoSłownik geograficzny Królestwa Polskiego i innych krajów słowiańskich, red. F. Sulimierski, B. Chlebowski, W. Walewski, Tom II, Warszawa 1881, s.348; S. Achremczyk, Ełk. Dzieje miasta, Ełk 2012, s. 44-50, 51-55, 70-72; R. Herman, Zamek w Ełku. Tajemnice wydobyte z przeszłości, Ełk-Łódź 2015.
W 1656 zamek posłużył ludności Ełku za schronienie przed Tatarami i pozostałymi wojskami hetmana polnego litewskiego Wincentego Gosiewskiego. Choć pod pobliskimi Prostkami klęski doznały wojska szwedzko-brandenburskie, a miasto Ełk wraz z całą okolicą zostało całkowicie złupione przez Tatarów, to zamek pozostał niezdobyty. Mniej więcej z tego okresu zachował się widok miasta i zamku opublikowany w dziele Krzysztofa Hartknocha "Altes und Neues Preussen..." z 1684 r. Przedstawiono zamek na wyspie do którego prowadziły mosty z obu stron.