W górnej części bastionów znajdował się chodnik wałowy, umożliwiający komunikację.
Historia Zamek wzniesiono z polecenia króla Kazimierza Wielkiego jako jeden z węzłów umocnień północnych rubieży Królestwa Polskiego na linii Noteci i Wisły. Budowa trwała 10-20 lat prawdopodobnie od 1343 do przełomu lat 50./60. XIV wieku. W 1346, kiedy nastąpiła lokacja miasta Bydgoszczy, na zamku rezydował już burgrabia. Zamek od połowy XIV wieku był siedzibą starostów bydgoskich.
Po śmierci Kazimierza Wielkiego zamek w latach 1370–1377 był własnością królewskiego wnuka, księcia słupsko-szczecińskiego Kazimierza. Książę tutaj zlokalizował swoją kancelarię, dwór i tutaj 2 stycznia 1377 zmarł. Po nim władzę nad zamkiem objął książę Władysław Opolczyk. Warownia wróciła w skład państwa polskiego w 1390 roku.
W czasie wielkiej wojny z zakonem krzyżackim w latach 1409–1410, zamek bydgoski był terenem zaciętych walk. Pod koniec sierpnia 1409 roku, na skutek nieudanego wypadu pod Świecie, znaczna część załogi zamku została wzięta do niewoli, a pozostali obrońcy, nie widząc możliwości obrony, oddali twierdzę bez walki w ręce wojsk zakonnych. Odbicia zamku z rąk krzyżackich dokonał Władysław Jagiełło, szturmując go w ciągu 8 dni, od 28 września do 6 października 1409 roku.