Władze austriackie dążyły jednak do likwidacji lubelskiego konwentu. W 1804 roku wydano nakaz przeniesienia zakonników do Czernej. Dzięki interwencji biskupa Wojciecha Skarszewskiego decyzji nie wykonano. Dekret z 29 grudnia 1806 roku pozwolił karmelitom pozostać w Lublinie, ale nakazał im przenieść się do dawnego klasztoru karmelitanek bosych przy kościele św. Józefa.
15 maja 1807 roku karmelici ostatecznie opuścili dawną siedzibę na Krakowskim Przedmieściu.
Losy ruin i budowa ratusza Jeszcze w 1807 roku austriacki urząd cyrkularny wystawił ruiny zespołu na licytację. Kupił je Franciszek Józef Stadler za 4000 złotych reńskich. W kolejnych latach nieruchomość kilkakrotnie zmieniała właścicieli.
W 1826 roku miasto odkupiło zabudowania z zamiarem urządzenia w tym miejscu nowej siedziby władz miejskich. Przed podjęciem prac Jakub Hempel, budowniczy województwa lubelskiego, sporządził szczegółową inwentaryzację ruin kościoła i klasztoru. Zachowane plany są jednym z podstawowych źródeł pozwalających odtworzyć układ dawnego zespołu.
Własny projekt przebudowy przedstawił również Hempel, był on jednak zbyt kosztowny. Ostatecznie wybrano oszczędniejszą koncepcję budowniczego generalnego Królestwa Polskiego Aleksandra Groffego.