W 1923 został aresztowany i był przez dwa miesiące przetrzymywany w więzieniu, chociaż nie postawiono mu żadnych zarzutów. Następnie władze nakazały mu wyjechać z Ukrainy; mimo późniejszej zmiany tej decyzji ks. Kolczicki opuścił Charków i udał się do Moskwy. Służył odtąd w soborze Objawienia Pańskiego w Moskwie-Jełochowie, początkowo jako jeden z etatowych kapłanów, zaś od grudnia 1924 jako proboszcz. W 1931 został aresztowany przez OGPU pod zarzutem prowadzenia systematycznej agitacji antyradzieckiej, jednak po dziesięciodniowym pobycie w więzieniu władze uznały, że zarzuty nie potwierdziły się (duchowny twierdził w czasie przesłuchania, że uważa się za osobę lojalną wobec władz i zaprzeczył, jakoby prowadził jakąkolwiek agitację). Po zwolnieniu wrócił do pracy duszpasterskiej w soborze Objawienia Pańskiego, który od połowy lat 30. był świątynią katedralną Patriarchatu Moskiewskiego.
Otrzymał wszystkie najważniejsze nagrody cerkiewne przeznaczone dla białego duchowieństwa: mitrę (1927), prawo służby przy otwartych carskich wrotach do modlitwy Ojcze Nasz oraz prawo noszenia drugiego krzyża kapłańskiego (1941).