Prawdopodobnie to właśnie na zamku w 1389 król Władysław Jagiełło przyjął hołd lenny z ziem Nowogrodu Wielkiego od swojego brata Lingwena. Z 1394 roku pochodzi wzmianka informująca, że podskarbi Hinczko wypłacił 20 grzywien na budowę muru zamkowego. W dniu 10 września 1395 król Władysław Jagiełło zawarł tu polsko-pomorski traktat sojuszniczy z książętami pomorskimi Świętoborem III i Bogusławem VIII Za: Lites ac res gestae inter Polonos T.I, wyd. II, nr 34, s. 419–420..
Zamek gotycki Kazimierza Jagiellończyka W 1478 roku żona króla Kazimierza Jagiellończyka, królowa Elżbieta Rakuszanka, urodziła na zamku córkę Barbarę. W 1480 roku starosta Rafał Jakub Jarosławski podjął decyzję o rozbudowie zamku. Gotycki budynek stojący od strony Wisły przedłużono w kierunku zachodnim, gdzie wzniesiono wieżę narożną tzw. „kurzą nogę”. Zbudowano wtedy także mur biegnący od „kurzej stopy” na północ (mur ten wtopiony został w nowy budynek zachodni w latach 20. XVI wieku). Budynek południowy przedłużono też w kierunku wschodnim, także na jego końcu budując niewielką wieżę narożną.