Wiek XIV W 1303 roku biskup Herman z Pryzny rozpoczął budować zamek w Wąbrzeźnie, jednakże ukończył go biskup Mikołaj Afri, gdyż dopiero w 1321 roku po raz pierwszy na zamku wąbrzeskim został wystawiony dokument. Siedemnastowieczny historyk Krzysztof Hartknoch datuje jednak jego powstanie na 1312 rok, lecz nie podaje źródła tej informacji.
Budynek składał się z trzech członów: Zamku Wysokiego o charakterze administracyjno-rezydencjonalnym oraz służebno-gospodarczego Przedzamku i Podzamku. Pod względem architektonicznym był ewenementem na ziemi chełmińskiej, albowiem budowany na wzór typowego zamku konwentualnego, jego wieża główna umiejscowiona była tuż przy wjeździe na zamek, co odbiegało od kanonu krzyżackiego, w którym wieża ostatniej obrony była wkomponowana w któreś z naroży. Rozplanowanie takie przypomina tylko zamek Westerburg w Saksonii.
Zamek wąbrzeski był widownią wielu burzliwych wydarzeń historycznych. Król Polski Władysław I Łokietek w okresie wojny polsko-krzyżackiej (1327-1332) w czasie wyprawy odwetowej podjętej jesienią 1330 roku przeciwko zakonowi, zdobył, zniszczył i ograbił zamek. Wówczas to prawdopodobnie podczas tego ataku spłonęła osada i wybudowany z drewna pierwszy kościół farny.