Opowieść ta przez księdza spowiednika trafiła do Alberta Kadzidłowskiego – zarządcy Kazimierza Biskupiego, który podarował kamedułom ziemię na Sowiej Górze, jezioro Skąpe, a także spory obszar lasu, drewno, prawo do połowu ryb oraz pieniądze na utrzymanie.
Pierwszą mszę świętą w drewnianym klasztorze odprawiono 17 października 1666 roku. Niecały miesiąc później zmarł fundator kościoła, od dwóch lat zmagający się z chorobą. Kadzidłowski w testamencie przekazał Kamedułom 16 tysięcy złotych. W klasztorze znajdował się przekazany z Bielan w 1672 roku, obraz Matki Boskiej z Dzieciątkiem Jezus, uważany za święty. Ikona pochodziła z Grecji, a do Polski trafiła z Rosji za sprawą Jerzego Mniszcha, uczestnika Dymitriad. Ważnym wydarzeniem w dziejach klasztoru było przekazanie w 1731 roku przez kapitułę poznańską części relikwii Pięciu Braci Męczenników.
Pożar drewnianego kościoła W połowie XVIII stulecia doszło do pożaru drewnianego klasztoru. Jeden z klasztorników wykazujący objawy choroby psychicznej podpalił budynek, w którym spłonął cudowny obraz Matki Boskiej oraz ołtarz.