W XIX wieku ruiny zamku były dalej niszczone, a uzyskiwana z nich cegła posłużyła do budowy wielu obiektów w mieście, zwłaszcza kamienic przy ulicy Długiej. Ostatecznej rozbiórce obiekt uległ w 1895 roku. Związane to było z kompleksowymi pracami, jakie przedsięwzięły władze pruskie w celu uporządkowania i zagospodarowania dawnego wzgórza zamkowegoCzachorowski Antoni red.: Atlas historyczny miast polskich. Tom II Kujawy. Zeszyt I Bydgoszcz. Uniwersytet Mikołaja Kopernika. Toruń 1997. Zasypano pozostałości fosy, na której miejscu w latach 1900–1903 wybudowano świątynię ewangelicką, dzisiejszy kościół Jezuitów przy Placu Kościeleckich 7. Obecnie w miejscu zniszczonych ostatnich ruin twierdzy znajduje się budynek Przedszkola nr 23, położony na ulicy Przy Zamczysku.
W 2019 wysunięto koncepcję odbudowy zamku, której koszt oszacowano na ok. 30 mln zł. Władze miasta nie wykluczyły włączenia odbudowy do Strategii Rozwoju Bydgoszczy do roku 2030Najważniejsze wydarzenia roku 2019. Wielki strajk, plama i wybory. Realizacji koncepcji sprzyja zamknięcie w lipcu 2020 przedszkola "Alf", mieszczącego się w budynku powstałym w miejscu zamkuMiasto likwiduje przedszkole.