Nowy obiekt spłonął 30 sierpnia 1835 r., kolejny budynek również - 24 marca 1890 r. W 1895 r. wzniesiono następny – tym razem reprezentacyjny budynek Teatru Miejskiego, który podobnie jak poprzednicy spłonął w 1945 r. i został rozebrany. Nieszczęśliwe losy budowli wzniesionych na fundamentach gotyckiej świątyni stały się pożywką dla legendy o „klątwie” karmelitówLegenda o klątwie karmelitów .
Po dawnych zabudowaniach karmelickich pozostały jedynie relikty ukryte pod ziemią. Budynki klasztorne rozebrano w 1884 r., a ostatni obiekt – gotycko-renesansowa wieża została wysadzona w powietrze 29 czerwca 1895 r. Po dawnym klasztorze pozostała tylko nazwa ulicy Karmelickiej – naprzeciw kościoła farnego oraz relikty wyposażenia świątyni. W miejscu, gdzie znajdowało się prezbiterium kościoła -–w 2009 r. umieszczono tabliczkę pamiątkową na bruku chodnika w ciągu ul. Mostowej.