W latach 1795–1807 po III rozbiorze Polski pałac wraz z klasztorem znalazł się w Prusach Nowowschodnich, w tym czasie pałac był siedzibą biskupstwa unickiego a klasztor zajmowali bazylianie. Na mocy decyzji rządu Prus majątek klasztoru został skonfiskowany, a w wyniku pokoju w Tylży w 1807 roku cały obwód białostocki wcielono do Imperium Rosyjskiego. Po opanowaniu Supraśla i klasztoru przez Rosjan pałac opatów zajęło wojsko carskie przeznaczając go na skład amunicji i lazaret.
W 1833 roku przemysłowiec Wilhelm Fryderyk Zachert wydzierżawił, a później wykupił 2/3 zabudowań klasztornych wraz z pałacem opatów i przeniósł tu ze Zgierza fabrykę sukna. W 1836 roku zakon bazylianów został skasowany a mnisi z ławry Supraskiej siłą zostali podporządkowani Cerkwi prawosławnej. mały|left|Panorama pałacu i cerkwi Zwiastowania między 1915 a 1918 rokiem mały|Pałac nad rzeką Supraśl Na mocy wyroku Wileńskiej Zjednoczonej Izby Sądu Cywilnego i Karnego w 1883 właścicielem pałacu opatów i południowego skrzydła pobazyliańskiego klasztoru został Wilhelm Zachert.