W latach 1795–1801 trwała budowa drugiego soboru klasztornego pod wezwaniem św. Dymitra, ufundowanego przez hrabiego Nikołaja SzeriemietjewaW. Iwanow, Rostow, Uglicz, Iskusstwo, Moskwa 1975, s. 150.. Natomiast w 1836 r. z daru przekazanego przez hrabiankę Annę Orłową-Czesmeńską przebudowano zbudowaną w 1824 r. cerkiew św. Jakuba i wstawiono nową rakę z relikwiami tegoż świętego. W klasztorze przebywało na początku XIX w. 16 mnichów i posłuszników.
W 1888 r. monaster stracił status stauropigialnego, został natomiast stałą siedzibą biskupów rostowskich, wikariuszy eparchii jarosławskiej. W przededniu rewolucji 1917 r. w kompleksie klasztornym znajdowały się dwa sobory i cztery cerkwie.
Po rewolucji październikowej wspólnota monastyczna funkcjonowała do 1928 r. Mnichom odebrano większą część budynków mieszkalnych, lecz sobory Poczęcia św. Anny i św. Dymitra pozostawały czynne. W zabudowaniach klasztornych w 1919 r. krótko funkcjonował lazaret, następnie, na początku lat 20., więzienie i kolonia karna. Majątek monasteru został znacjonalizowany, a podczas konfiskaty kosztowności cerkiewnych z cerkwi klasztornych wyniesiono cenne naczynia liturgiczne i inne wyposażenie. W 1918 r. kompleks monasterski uznano za zabytek architektury staroruskiej i objęto ochroną państwową.