W I połowie XVIII stulecia dobudowano od strony wschodniej zabudowania gospodarcze, które ogrodzono murem z basztami na wschodnich narożach i ulokowaną w centralnym miejscu bramą.
W 1864 roku klasztor bernardynów na Karczówce został skasowany przez władze carskie. Opustoszałe zabudowania przekazano po I wojnie światowej w 1918 roku siostrom sercankom, które otworzyły w nich Drukarnię św. Józefa. W 1922 roku świątynia stała się kościołem filialnym parafii katedralnej, a od 1939 roku – samodzielnym kościołem parafialnym. W 1957 roku został on przejęty przez księży ze Stowarzyszenia Apostolstwa Katolickiego (pallotynów).
Wyposażenie mały|lewo|Ołtarz główny Z pierwotnego, XVII-wiecznego wyposażenia zachował się jedynie ołtarz główny, wczesnobarokowy, architektoniczny, wykonany z marmuru chęcińskiego, z obrazem św. Karola Boromeusza adorującego martwego Jezusa w polu głównym i św. Kazimierza w zwieńczeniu. Pozostałe ołtarze rokokowe z 2. ćw. XVIII w. o analogicznej kompozycji, drewniane, rokokowe, z ukośnie ustawionymi pilastrami i figurami aniołów. Wyróżnia się rzeźba św. Barbary w ołtarzu tego samego wezwania, wykonana po 1646 r.