Taki stan rzeczy trwał do 17 kwietnia 1819 roku kiedy to arcybiskup warszawski Franciszek Skarbek-Malczewski podpisał dokument kasacyjny. Głównym tego powodem była śmierć ostatniego z braci oraz brak zakonników, którymi można by lelowski konwent obsadzić. Zaraz po tym zaczęto pofranciszkański majątek rozdysponowywać i pomimo starań mieszczan nie udało się już sprowadzić franciszkanów do Lelowa, ani nawet powstrzymać postępującego procesu niszczenia wielowiekowych zabytków. Prace rozbiórkowe trwały przez wiele następnych lat i zakończyły się dopiero w 1868 roku. W 1831 roku ołtarz z obrazem Matki Bożej Pocieszenia został przeniesiony do kościoła farnego.
Kamienie pochodzące z rozbiórki użyto m.in. do budowy murów okalających cmentarz i kościół parafialny w Staromieściu. Do kościoła tego przeniesiono też zabytkowe stalle z franciszkańskiego kościoła, mogące pomieścić 30 osób. Natomiast do kościoła w Leśniowie przeniesiono drewniane figury Piotra i Pawła. Reszta pofranciszkańskiego majątku przypadła innym kościołom oraz osobom prywatnym.