Tutaj właśnie król podpisał rozejm z wielkim mistrzem krzyżackim Ulrichem von Jungingen, który obowiązywał do 24 czerwca 1410. W roku następnym, po wygaśnięciu tego rozejmu, armia Jagiełły i księcia Witolda rozegrały słynną kampanię, w której złamały potęgę militarną państwa zakonnego pod Grunwaldem. Jesienią 1409 remont zamku nadzorował osobiście król Władysław JagiełłoEncyklopedia Bydgoszczy. t.1. praca zbiorowa pod red. Włodzimierza Jastrzębskiego. Towarzystwo Miłośników Miasta Bydgoszczy. Bydgoszcz 2011. , str. 33.
W 1441 roku zamek wraz z miejscowym starostwem został przekazany pod zastaw długu, jaki zaciągnął król Władysław Warneńczyk. Od tego czasu aż do 1600 roku urząd starosty sprawowali wierzyciele królewscy – przedstawiciele rodu Kościeleckich. W 1466 roku z chwilą wcielenia krzyżackiego Pomorza i ziemi chełmińskiej, zamek utracił charakter kluczowej twierdzy pogranicza, a kolejni starostowie nie prowadzili w obiekcie większych prac remontowych. Częściowej odbudowy warownia doczekała się w latach 1632–1645, gdy starostą bydgoskim był kanclerz wielki koronny Jerzy Ossoliński. Dostojnik wyłożył wówczas m.in. sumę potrzebną na remont zrujnowanej wieży narożnej oraz budowę systemu fortyfikacji bastionowych otaczających zamek.