Ulica J. Zarębskiego została wytyczona na podstawie planu budowlanego, a planowana siatka ulic była widoczna na mapie w lat 1901–1903. Zakładał on całkowitą urbanizację tej części Załęża i usytuowanie zabudowy wzdłuż nowych ulic w układzie szachownicowym, co zrealizowano fragmentarycznie. W 1900 roku nowej drodze nadano nazwę Schulstrasse.
Przy ulicy powstawała zabudowa wielorodzinna (familoki) o kubicznych bryłach, ceglana i nieotynkowana, w stylu historyzmu ceglanego prostego, a na zapleczu wznoszono komórki gospodarcze w ogródkach. W pierwszej kolejności powstało budownictwo przemysłowe od strony biegnącej w pobliżu bocznicy kolejowej, gdzie działała odlewnia metali „Silesia” Grützmachera. Pierwszy budynek mieszkalny postawił w 1907 roku Peter Mamlas, rok później została oddana do użytku kamienica Floriana Namyslo, w 1909 roku Antona Skrzyptza i Johana Kowolika, natomiast w 1914 roku Adolfa Singera.
W 1920 roku droga nosiła nazwę Ulica Szkolna, od 1925 roku Ulica Juliusza Zarębskiego. W latach międzywojennych budynki wzdłuż ulicy J. Zarębskiego były własnością Śląskiego Urzędu Wojewódzkiego (pod nr. 5 i 5a) oraz osób prywatnych, a także funkcjonowały warsztaty rzemieślnicze i placówki handlowe.