Warownia przechodziła z rąk do rąk. W 1456 r. do zamku powróciła załoga krzyżacka, w 1459 polskie wojska zaciężne wygnały Krzyżaków, ale w 1462 r. zamek znowu jest we władaniu załogi zakonnej. Po pokoju toruńskim (1466) Ełk pozostał w granicach państwa krzyżackiego. Krzyżacy kontynuowali akcję kolonizacyjną, która jednak nie postępowała szybko. W XV w. wokół Ełku powstało wiele nowych wsi. Mimo to rozwój głównego ośrodka przebiegał powoli, a czasem się załamywał, bo jeszcze w 1483 i 1511 r. Ełk nazywany był „lichą wioszczyną”, choć posiadał pieczęć miejską.
thumb|Zamek w Ełku - wnętrza zamku, dawne wejście na parter zamku Po zniszczeniach wojennych zamek został szybko odbudowany i rozbudowany. Obu mostów prowadzących na wyspę strzegły ceglane wieże obronne oraz kilka rzędów palisad i ostrokołów. Prawdopodobnie wówczas powstało obronne podzamcze położone na wschód od głównego budynku zamkowego. Posiadało ono fortyfikacje drewniane - palisady - oraz zabudowania złożone z dużego budynku ceglanego i mniejszych drewnianych. Ostatnie badania archeologiczne odsłoniły zachowane fragmenty palisad dębowych chroniących dostępu do wyspy oraz otaczające podzamcze. Na podzamczu dokonano odkrycia budynku drewnianego o posadzce wyłożonej ściśle ułożonymi przy sobie kaflami garnczkowymi.