Od pożaru w 1534 r. aż blisko do połowy XVII w. kościół stał opuszczony, a budynek klasztoru służył jako miejski spichlerz. W roku 1643 kościół przejęli protestanci i po prowizorycznym remoncie, w dzień św. Michała 1645 r., oddali swym słowackim współwyznawcom (niemieckojęzyczni bardejowianie korzystali wówczas z kościoła św. Idziego). W następnych latach nazywano tę świątynię „kościołem mniejszym” lub „słowiańskim”. W roku 1666 zainstalowano w świątyni nowe organy roboty Bartłomieja Fromma z Białej Spiskiej.
21 kwietnia 1670 r. kościół został odebrany protestantom i oddany przybyłym do miasta franciszkanom. Protestanci używali go jeszcze dwukrotnie: przez kilka dni w sierpniu 1678 r., a potem od 23 sierpnia 1682 r. do 11 marca 1686 r. W międzyczasie podczas pożaru w 1680 r. runęło sklepienie budowli i cały kościół wygorzał. Później, do rekatolizacji w 1686 r., kiedy kościół i klasztor ponownie przejęli franciszkanie, używali go ewangelicy. W roku 1728 biskup Egeru Georg Soger poświęcił trzy nowe dzwony. W latach 1757 – 1780 franciszkanie dokonali wielu przeróbek w kościele, m.in. świątynię powiększyli i na nowo zasklepili. W roku 1760 postawili także dwa nowe ołtarze: św. Anny oraz Matki Boskiej Częstochowskiej. W 1774 r. ustawiono nową ambonę, a w 1780 r.