W 1865 r. decyzją gubernatora grodzieńskiego parafia została zlikwidowana, a kościół zamknięty pomimo monitów właściciela majątku, Stanisława Szczęsnego Kossakowskiego. Podczas zamykania przez żołnierzy świątynia została sprofanowana łącznie ze zdewastowaniem krypt. Na skutek apelacji hr. Kossakowskiego zezwolono jedynie na pochowanie sprofanowanych zwłok na cmentarzu katolickim. W 1866 r. kościół przekształcono na cerkiew i nadano jej wezwanie Nie Ręką Ludzką Uczynionego Obrazu Zbawiciela. Resztki wyposażenia przekazano do okolicznych czynnych kościołów. W czasie I wojny Niemcy umieścili tutaj magazyn zboża.
W 1908 r. erygowano w Brzostowicy nową parafię pw. Przemienienia Pańskiego, a w latach 1908–1912 zbudowany został nowy kościół, sumptem ówczesnych właścicieli majątku Józefa Stanisława i Marii z Chodkiewiczów Kossakowskich oraz parafian. W 1920 r. kościół pw. Nawiedzenia NMP został zwrócony wiernym, 25 kwietnia 1920 rekoncyliowany, do drugiej wojny światowej stanowiąc filię parafii pw. Przemienienia Pańskiego. Kościół został zwrócony parafii w stanie opłakanym, do 1939 r. trzykrotnie prowadzono przy nim prace remontowe.