Niszczycielskie działanie rzeki Warty spowodowało prawie doszczętne zniszczenie pierwotnych zabudowań kościoła i klasztoru. W związku z czym w XVIII wieku dokonano prawie całkowitej przebudowy. 17 września 1788 roku arcybiskup gnieźnieński Józef Korytowski konsekrował nowy kościół, pozostający w dalszym ciągu pod wezwaniem Najświętszej Panny Marii. Tego samego dnia wprowadzono uroczyście istniejące od 1593 r. Bractwo Świętej Anny oraz istniejące od 1704 r. Bractwo Świętego Antoniego z Padwy.
W 1818 w klasztorze urządzono lazaret dla żołnierzy rosyjskich, oficerem za niego odpowiedzialnym był lekarz wojskowy o nazwisku Waycholtz. Podczas powstania styczniowego, 6 maja 1863 roku pod kolskim klasztorem miała miejsce zwycięska dla powstańców bitwa, a w klasztorze urządzono wtedy prowizoryczny lazaret. Po powstaniu styczniowym kolski klasztor stał się tzw. klasztorem etatowym, do którego zwożono zakonników z innych, likwidowanych klasztorów w Królestwie Polskim. Do Koła przeniesiono zakonników z Warszawy, Paradyża, Warty i Kazimierza Biskupiego.
W 1904 roku w kolskim klasztorze mieszkało tylko 8 zakonników (5 ojców i 3 braci). Po śmierci ostatniego z nich, do Koła sprowadzono bernardynów ze Lwowa.