Z uwagi na duże znaczenie strategiczne, 12 maja 1330 roku gród został – rzekomo w odwecie za liczne napady – zaatakowany przez Krzyżaków pod wodzą komtura ziemi chełmińskiej Ottona von Lauterberga. W bitwie zginęła 200-osobowa załoga, a twierdza została spalona i doszczętnie zburzona. Mieszkańcom Wyszogrodu nakazano się przenieść w inne miejsce, 2 km na północny wschód.
21 października 1382 roku książę Władysław Opolczyk ulokował miasto na prawie chełmińskim w obecnym miejscu. W dniu 3 lipca 1424 roku król Władysław Jagiełło wydał nowy przywilej lokacyjny na prawie magdeburskim, używając po raz pierwszy obecnej nazwy Fordon. W roku 1600 ówczesny proboszcz Baltazar Miaskowski wzniósł murowany kościół rzymskokatolicki pod wezwaniem św. Mikołaja. W 2008 roku prowadzono badania archeologiczne na przykościelnym cmentarzu, odsłaniając 72 groby, w tym trzy tzw. pochówki atypoweW. Siwiak, Czary i zabobony, Kalendarz Bydgoski, XLII, s. 234-239, 2009 - https://www.academia.edu/144439626/Wojciech_Siwiak_Czary_i_zabobony. Około 1617 roku miasto doszczętnie zniszczył ogromny pożar, do tego stopnia, że król zwolnił mieszczan od płacenia podatków. W 1656 roku całkowitą zagładę przyniósł miastu potop szwedzki. Szwedzi spalili miasto. Rozmiar zniszczeń był tak wielki, że ludność nie była w stanie odbudować swych domostw.