Wówczas wyjechał razem z mniszką Elżbietą (swoją dawną żoną) do wsi Władyczna, skąd pochodziła. Od 1927 służył w miejscowej cerkwi Opieki Matki Bożej. Zaczął zyskiwać opinię świętego ascety, wielu wiernych zwracało się do niego z prośbami o radę i modlitwę.
W 1931, ponownie na skutek donosu, archimandryta Sergiusz został ponownie aresztowany. Jako dowody prowadzenia przez niego agitacji monarchistycznej potraktowano m.in. wydaną w carskiej Rosji książkę-wspomnienia z pracy kapelana wojskowego. Duchowny został po raz drugi skazany na zsyłkę, tym razem na pięć lat, na północ Rosji europejskiej, do jednej z wsi nad Pinegą. We wsi tej przebywało już wielu innych zesłanych kapłanów, zmuszany do pracy przy wyrębie lasu. Na zesłaniu duchownemu towarzyszyła mniszka Elżbieta (Sriebrianska) oraz Maria Zamorina, późniejsza mniszka Milica. W 1933 kapłan został zwolniony z powodu podeszłego wieku i złego stanu zdrowia. Następnie razem z obydwiema kobietami, z którymi mieszkał, żyjąc według reguły mniszej, wrócił do Władycznej.