Także tym razem w czasie ewakuacji wojska polskie podpaliły warownię. Po tych zniszczeniach zamek dzierzgoński nie odzyskał już w pełni swoich walorów obronnych, jego funkcję przejęła warownia w Przezmarku.
W czasie wojny trzynastoletniej Dzierzgoń pozostawał przez większość czasu w rękach krzyżackich. W pobliżu miasta dochodziło do walk, co negatywnie odbiło się na gospodarce i sytuacji ludności. Na mocy II pokoju toruńskiego Dzierzgoń wszedł w skład Królestwa Polskiego. Z oryginalnego tekstu można wyczytać oprócz nazwy miasta (łac. item oppidum et districtus Cristburg alias Drzgon), także nakaz zburzenia zamku dzierzgońskiego (co jednak nie zostało wykonane).
Okres polski (1466–1772)
1467 – załoga krzyżacka opuszcza zamek i miasto. Dzierzgoń staje się siedzibą starostwa. Władanie starostwem przypada rodzinie Bażyńskich, jako forma gratyfikacji aktywnej działalności w Związku Pruskim. 1508 – w dokumentach pojawia się oficjalna polska nazwa Kiszpork, przekształcenie niemieckiej nazwy Christburg. 1517 – starostwo dzierzgońskie składające się z 10 osad przejmuje rodzina Cemów, która wypowiadając się za reformacją, wprowadza luteranizm. Znaczące przywileje otrzymują cechy rzemieślnicze od Zofii Cemowej, sprawującej rządy starościny za syna.