W XII wieku miasto zaczęło tracić na znaczeniu, lecz w 1196 roku rzeka Huang He zmieniła swój dotychczasowy bieg i zaczęła płynąć przez nieckę, w której leży Xuzhou. Dodatkowo w 1276 poprowadzono przez miasto Wielki Kanał, dzięki czemu miasto zaczęło odzyskiwać swoje dawne znaczenie. W okresie dynastii Qing (1644–1911) nadano Xuzhou status prefektury, jednak w ostatnich latach rządów dynastii miasto przestało pełnić ważną rolę, przede wszystkim ze względu na zmianę biegu rzeki Huang He w 1855 roku, która spowodowała, że kanał stał się bezużyteczny.
W 1912 zmieniono nazwę miasta na Tongshan (铜山; Tóngshān). W tym samym czasie połączono miasto linią kolejową z Pekinem i Nankinem. Miejscowość stała się ważnym węzłem kolejowym po doprowadzeniu do niej kolei Longhai z Lanzhou w 1916 roku. W 1934 roku oddano do użytku nowy odcinek linii kolejowej prowadzący do miasta portowego Lianyungang nad Morzem Żółtym. Przed II wojną światową miasto stało się centrum handlu dla regionu rolniczego. W 1938 roku, w czasie drugiej wojny chińsko-japońskiej (1937–45), miała tu miejsce bitwa, która zakończyła się zwycięstwem Japończyków. W 1945 roku miastu przywrócono nazwę Xuzhou.