Zaborcy wywieźli obraz Najświętszej Maryi Panny do cerkwi w Koninie, jednak po buncie malowidło powróciło.
Klasztor w rękach Mielżyńskich Nieco ponad 40 lat po kasacie klasztoru, w 1840 roku hrabia Mielżyński odkupił od zaborców budynki klasztorne z 10 hektarami ziemi, jednak warunkiem sprzedaży terenu była rozbiórka zespołu klasztornego. Hrabia nakazał więc demontaż części dachu, nie burząc doszczętnie świątyni. Częściowo rozebrany klasztor zaczął niszczeć do czasu przejęcia go przez nowych właścicieli Kazimierza – ród Mańkowskich.
Przywrócenie świetności i powrót zakonników thumb|Godła kongregacji Monte Corona i Calmadoli na fasadzie kościoła Stanisław Mańkowski włożył w odbudowę podniszczonej świątyni wiele pracy i pieniędzy – zlecił położenie nowego dachu krytego gontem i ocynkowaną blachą oraz wstawienie okien. Odnowiona świątynia w trakcie I wojny światowej stała pusta, ale dzięki kazimierskiej parafii kościół nie niszczał. W 1928 roku senator Mańkowski skontaktował się z klasztorem w Krakowie celem reaktywacji zakonu w Bieniszewie. Rok później, w październiku 1929 roku Kapituła Generalna zakonu we Włoszech zebrała się, by przedyskutować wniosek senatora. Z powodu kłopotów finansowych zakonu przełożono ponowne otwarcie eremu na Sowiej Górze.