Podczas wojny trzynastoletniej w 1454 roku, sztumski zamek przeszedł w ręce pierwszego starosty, gubernatora Prus Jana Bażyńskiego. Wkrótce jednak wrócił we władanie Krzyżaków. Na mocy II pokoju toruńskiego stał się siedzibą polskich starostów, w latach 1468–1772, wśród których znaleźli się przedstawiciele rodu Bażyńskich, Czemów, Guldensternów i Bielińskich.
W 1506 na zamku w czasie przerwy w podróży przebywał Mikołaj Kopernik, a w 1512 roku odnotowano jego dłuższy pobyt podczas spotkania jego wuja Łukasza Watzenrode z posłami z Gdańska.
Zamek był zdobywany i okupowany podczas wojen polsko-szwedzkich w XVII wieku. Miał być schronieniem dla Gustawa II Adolfa po zwycięskiej dla Polski bitwy pod Trzcianą, a po rozejmie w Starym Targu tymczasowo trafił pod zarząd elektora brandenburskiego Jerzego Wilhelma. Licznych zniszczeń i grabieży dokonano podczas potopu szwedzkiego w latach 1655–1660. Mimo napraw prowadzonych przez siedemnastowiecznych starostów z rodziny Guldensternów, zamek zdobyty przez Szwedów po raz trzeci w 1703 roku, ulegał postępującej dewastacji.