W 1797 roku majątki klasztoru znalazły się za nową granicą po stronie pruskiej, co spowodowało gwałtowny spadek dochodów na utrzymanie. W latach 1804–1828 zakonnice prowadziły w klasztorze szkołę dla dziewcząt, gdzie uczono m.in. czytania i pisania. W 1819 ściany kościoła i klasztoru zostały wyremontowane. W 1828 roku w kościele stanął nowy ołtarz Opatrzności Bożej, a w 1841 roku trzy nowe ołtarze murowane w miejsce starych drewnianych. W 1838 roku wymieniono dachówki i pobielono ściany. W 1848 roku siostry wyremontowały piece, drzwi, podłogi i okna.
Listem z 14 października 1853 roku rosyjski Minister Spraw Wewnętrznych nakazał wileńskiemu generał-gubernatorowi odebrać klasztor i kościół Bernardynkom i przekazać je duchowieństwu prawosławnemu. W wyniku tej decyzji siostry były zmuszone do opuszczenia placówki i wyjechały do klasztorów w Wilnie i Słonimiu. Wyposażenie kościoła, jako nieprzydatne prawosławnym, przekazano do innych kościołów, m.in. do kościoła w Hożej, gdzie do dzisiaj znajdują się pochodzące z niego dwa obrazy: Madonna z Dzieciątkiem z 1 poł. XVIII wieku i Chrystus przywiązany do słupa z 2 poł. XVIII w. Kościół zamieniono na cerkiew pod wezwaniem śś. Borysa i Gleba, niedługo po tym jak cerkiew na Kołoży pod tym wezwaniem częściowo runęła do Niemna.