Do polskiego zboru Kościoła staroluterańskiego w Królestwie Prus przyjął go pastor Wilhelm Angerstein, którego Kacper Mikulski poznał w 1874 roku podczas prowadzonej przez bernardynów kwesty w Krakowie.
Dzięki patronatowi Wilhelma Angersteina Kacprowi Mikulskiemu udało się uzyskać poddaństwo rosyjskie i prawo osiedlenia w Królestwie Polskim. Zamieszkał w Płochocinie. Został asystentem pastora parafii luterańskiej w Wiskitkach. W latach 1875–1879 zajmował się prowadzeniem domu dla sierot oraz pisarstwem religijnym. Był w tym czasie płodnym autorem broszur kościelnych, a także tłumaczem z języka niemieckiego dzieł teologicznych i publicystą ewangelickim.
W 1879 roku otrzymał stypendium naukowe konsystorza warszawskiego. Pozwoliło mu ono na podjęcie studiów z teologii ewangelickiej na Uniwersytecie w Dorpacie. Studia te ukończył w 1880 roku. Uzyskanie dyplomu pozwoliło mu ubiegać się o przyjęcie do grona duchownych luterańskich Kościoła Ewangelicko-Augsburskiego w Królestwie Polskim. W 1881 roku został diakonem przy parafii Świętej Trójcy w Warszawie, a niedługo po ordynacji pastorem parafii w Sobiesękach.