Kolejnej parafii, w podlaskiej wsi Perlejewo, jaką ze względu na okoliczności wojenne zlecił mu jego ordynariusz nie mógł objąć z powodu tychże okoliczności. Czuł się wobec tego zmuszony poprosić swojego ordynariusza o list przejezdny, który otrzymał 28 listopada 1939 roku, z zamiarem udania się na emigrację. Niemniej jednak objął później jeszcze probostwo w nadbużańskiej wsi Niemirów na Podlasiu (1939–1940). We wrześniu 1939 roku wieś znalazła się we władaniu Sowietów i, jako że na rzece Bug powstała granica radziecko-niemiecka, z nakazu władz sowieckich w terminie od 10 kwietnia do 10 maja 1940 roku mieszkańcy musieli rozebrać wszystkie budynki w swojej wsi i przenieść się z wyznaczonego pasa granicznego, tzw. „połosy”, na odległość dwóch kilometrów, na tzw. „wygon”. Po 10 maja wydano kategoryczny zakaz udawania się na miejsce „byłego” Niemirowa. Kościół znalazł się za „połosą”. Ks. Tatarynowicz przed zamknięciem „połosy” zdołał wynieść i rozdać w tajemnicy wyposażenie kościoła osobom zaufanym celem przechowania. Przez władze sowieckie został wówczas osadzony w areszcie domowym, z którego zbiegł, chcąc w ten sposób uniknąć groźby zesłania . Opuszczając Niemirów, udał się do Warszawy.