W 1455 Wzgórze Katedralne zostało zajęte przez czeskie oddziały zaciężne będące w służbie Kazimierza Jagiellończyka.
Na mocy pokoju toruńskiego z 1466 miasto wraz z całą Warmią weszło w skład Korony Królestwa Polskiego. We Fromborku przebywał Mikołaj Kopernik, który jako kanonik kapituły warmińskiej żył i pracował na Wzgórzu Katedralnym niemal nieprzerwanie od 1510 do dnia swojej śmierci w maju 1543. Właśnie tutaj Mikołaj Kopernik opracował De revolutionibus orbium coelestium (O obrotach sfer niebieskich) – dzieło, które odmieniło dotychczasowe pojęcia o wszechświecie. Zespół katedralny na wzgórzu stał się także miejscem pochówku astronoma. W 1520 miasto niszczy najazd Krzyżaków, jednak nie udaje im się opanować Wzgórza Katedralnego. Około 1540 powstała pod miastem pierwsza na Warmii huta szkła. mały|Frombork, rycina Krzysztofa Hartknocha z Altes und neues Preussen, 1684 Ponowne zniszczenia zabudowy miejskiej mają miejsce w czasie wojen szwedzkich, od 1626 miasto okupują wojska szwedzkie, które grabią skarbiec katedralny i wywożą do Szwecji księgozbiór biblioteki kapitulnej, w tym cenny księgozbiór kopernikański. W drugiej połowie wieku XVII upadek gospodarczy, w 1655 Karol Gustaw przyłącza Frombork do Szwecji. W 1703 wielki pożar niszczy całą zabudowę miasta m.in.