Całe zachodnie Śródmieście miało charakter dzielnicy kolejowej, gdyż zamieszkiwali w niej pracownicy warsztatów kolejowych, a w latach następnych osiedlali się również pracownicy powstających w sąsiedztwie przedsiębiorstw i fabryk. W dzielnicy tej zbudowano również okazały gmach Dyrekcji Kolei Wschodniej.

W miarę rozwoju połączeń kolejowych, wzrostu przewozów i rozrostu Dyrekcji Kolei WschodniejOd 1852 zajmującej część pomieszczeń dworcowych. pojawiła się konieczność rozbudowy dworca kolejowego. W 1861 przy okazji budowy Kolei Warszawsko-Bydgoskiej gmach dworca znacznie powiększono, a w 1870 wybudowano dworzec zewnętrzny u wylotu ul. Dworcowej, w którym zlokalizowano kasy biletowe, odprawę bagażu oraz wejścia do podziemnych przejść na poszczególne perony. W latach 1872–1875 przy dworcu zbudowano Urząd Ekspedycji Pocztowej. W 1913 po pożarze poprzednika, wybudowano nowy gmach dworca zewnętrznego z wieżą zegarową.

Obok dworca głównego powstały również mniejsze dworce i przystanki kolejowe: Bydgoszcz Wąskotorowa, Bydgoszcz Wschód, Bydgoszcz Brdyujście, Bydgoszcz Łęgnowo i inne.