Anny, za sprawą księdza kanonika Andrzeja Świniarskiego, który jak podaje opis wizytacji z 1641 r., narażając życie swoje kościół otoczony wojskiem przez "heretyków" odebrał wraz kilkoma duchownymi. Ten sam opis mówi o tym, że kościół jest pod wezwaniem Najświętszej Marii Panny, Jana Chrzciciela i Ewangelisty oraz św. Andrzeja apostoła. Po odebraniu kościoła braciom czeskim, jeszcze przez jakiś czas odbywali oni nabożeństwa na zamku w Ostrorogu. W 1660 roku Ostroróg przeszedł w ręce rodziny katolickiej, a zbór braci czeskich ostatecznie upadł. Wraz z upadkiem zboru podupadło miasteczko, wyprowadziły się bogate rodziny szkockie, zlikwidowana została biblioteka, seminarium, archiwum.
Przy kościele znajdował się szpital. Położony był przy drodze prowadzącej do Szamotuł, w 1641 r. złożony był z jednej izby ogrzewanej i kilku komór, mieszkało w nim 6 ubogich. Z opisu szpitala z 1725 r. wynika, iż wówczas składał się z dwóch izb ogrzewanych i 4 komór. W 1785 r. szpitala już nie było, spalił się przez nieostrożność ubogich w nim mieszkających.