W 1889 rozpoczął posługę kapłańską w Wiskitkach i Żyrardowie, a także administrował filiałem parafii w Błędowie, w związku z czym zamieszkał w Żyrardowie, gdzie wybudował kościół, oddany do użytku w 1898Sosnkowska, Joanna, Działalność duszpasterska i społeczna pastora Rudolfa Gustawa Gundlacha (1850–1922). Przyczynek do historii dobroczynności w Łodzi, [w:] „Studia z Historii Społeczno-Gospodarczej XIX i XX Wieku” pod redakcją Jarosława Kity, Tom X, Wydawnictwo UŁ, 2012, s. 87–103..
W październiku 1898 został proboszczem w parafii ewangelicko-augsburskiej pw. Świętej Trójcy w Łodzi. W pracy duszpasterskiej towarzyszył mu ks.Paweł Hadrian. Jedną z przyczyn, dla których Gundlach został wybrany pastorem parafii, była jego znajomość języka polskiego, a także polskie pochodzenie. Łódź na przełomie XIX i XX w. była miastem, w którym żyła duża grupa Polaków ewangelików, a także znaczna część niemieckich luteranów asymilowała się z Polakami, w związku z czym zaistniała znacząca potrzeba prowadzenia nabożeństw w języku polskim. Pierwsze odprawione przez Gundlacha nabożeństwo w języku polskim odbyło się 1 listopada 1898. Nabożeństwa w tym języku w parafii św. Trójcy odtąd odbywały się raz w miesiącu, a w późniejszym okresie również w trakcie świąt kościelnych.