Jeszcze w XVI w. oraz w kolejnym stuleciu kościół był kilkakrotnie niszczony przez pożary. W 1624 r. ogień poważnie uszkodził świątynię, zaś w 1655 r. kościół spustoszyły wojska rosyjskie. Po tych zniszczeniach do świątyni wstawiono nowe barokowe wyposażenie, w tym ambonę i osiem ołtarzy. Wybudowano również chór organowy i drewniane empory. Około 1740 r. we wnętrzu kościoła pojawiły się malowidła przedstawiające stacje Drogi Krzyżowej oraz 28 portretów świętych wywodzących się z zakonu bernardynów. Prawdopodobnie autorami tych dzieł byli sami zakonnicy żyjący w kowieńskim klasztorze bernardynów.
Rząd carski skasował klasztor bernardynów w 1842 r. W 1845 r. w budynkach zamieszkiwanych dotąd przez zakonników urządzono więzienie. W 1864 r. do klasztoru przeniesiono seminarium duchowne diecezji żmudzkiej.
Kościół był remontowany po odzyskaniu niepodległości przez Litwę, w 1921 r. i ponownie w 1936 r. Po II wojnie światowej, gdy Litwa została wcielona do ZSRR, władze radzieckie zamknęły kościół i zaadaptowały go na magazyn leków.