Historia Ulica przebiega przez obszar dawnych Gajowic (Gabitz), który został włączony do miasta w 1868 r. W omawianym obszarze istniała już w średniowieczu droga i wieś Gajowice (Gay, Gayouice). Początkowo była to wieś wzdłuż drogi biegnącej na śladzie dzisiejszej ulicy Gajowickiej. Z Gajowic wydzielono Dworek (Höfchen) – odcinek ulicy Grochowej od ulicy Kruczej do ulicy Gajowickiej – włączony współcześnie do osiedla Powstańców Śląskich.
Ulica Grochowa, z nazwą własną, nie istniała jeszcze w 1901 r. Istniał już jednak bez nazwy początkowy jej odcinek pomiędzy ulicą Kruczą (Charlottenstrasse), która na tym odcinku wytyczona została w 1895 r., a Gajowicką (Gabitzstrasse), przy terenie, na którym później zbudowano kościół. Dalej prowadziła nienazwana droga w kierunku północno-zachodnim, na śladzie której powstała ulica Grochowa, do innej drogi na śladzie dzisiejszej ulicy Icchaka Lejba Pereca (Rehdigerstrasse). Do 1912 roku przy wytyczonej już ulicy zabudowano południowo-zachodnią pierzeję ulicy, od ulicy Gajowickiej do Jemiołowej, a dalej urządzono stajnie miejskie, oraz północno-wschodnią pierzeję od ulicy Gajowickiej do Karasiej i od Icchaka Lejba Pereca do Kłośnej (Wielandstrasse). Natomiast przed 1926 r.