W 1889 r. zaprojektowano kamienny kościół. Gubernator Generalny zabronił budowy, ponieważ projekt przewidywał ozdobną fasadę. W 1892 r. projekt został uproszczony. Fundatorem kościoła był carski generał, z pochodzenia Polak, Kazimierz Czechowicz. On też ufundował ołtarz główny. Władze inspirowane przez proboszcza prawosławnej parafii, postawiły jednak warunek: w mieście musiała także stanąć nowa cerkiew. Czechowicz spełnił żądanie i ufundował obie świątynie.

W latach 1894–1897 wikariuszem w parafii był ks. Ignacy Szopara, który uczył parafian modlić się i śpiewać w języku litewskim.

W 1895 r. zatwierdzono projekt murowanej świątyni i wydano pozwolenie na budowę. Kościół został wybudowany w 1898 i konsekrowany przez bp. Stefana Aleksandra Zwierowicza w 1900 r.

W latach 1893–1903 wikariuszem był ks. Placyd Szarkauskas, który dostarczał i rozpowszechniał zakazane wydawnictwa litewskie z Prus. Dzięki tym staraniom w parafiach rozpowszechniły się katechizmy, modlitewniki, broszurki i gazety w języku litewskim.

W latach 1903–1909 proboszczem i dziekanem święciańskim był ks. Jonas Burba. W 1914 r. wybudowano salę parafialną.

Ks. Justinas Petronis był współzałożycielem litewskiego gimnazjum założonego na początku 1919 roku. Ks.