Zespół przy obecnej ul. Peowiaków pozostał w użytkowaniu instytucji wojskowych. Zachowany opis lazaretu z 1816 roku jest ważnym źródłem dotyczącym wyglądu dawnego kościoła przed późniejszymi przebudowami. Wynika z niego, że w świątyni znajdowały się wówczas ołtarz główny, sześć ołtarzy bocznych, ambona i chór muzyczny, a dawne chóry zakonne po bokach prezbiterium nadal oddzielały od niego kraty.
Wizytki przez następne dziesięciolecia zabiegały o odzyskanie własnej siedziby. Starania nie przyniosły skutku. W 1836 roku zakonnice przeniesiono do dawnego klasztoru brygidek przy kościele Matki Bożej Zwycięskiej, gdzie pozostały do likwidacji lubelskiego konwentu w 1882 roku.
Przebudowa na cerkiew prawosławną
W latach 1836–1839 dawny kościół wizytek został przebudowany na prawosławną cerkiew parafialną. Dokumentacja tego przedsięwzięcia zachowała się w Archiwum Głównym Akt Dawnych w zespole akt Centralnych Władz Wyznaniowych Królestwa Polskiego.
Projekty przebudowy sporządzili Feliks Bieczyński i Ferdynand Konotkiewicz. W czasie prac zamurowano arkadowe otwarcia łączące prezbiterium z chórami zakonnymi i rozebrano mensę dawnego ołtarza głównego. Początkowo zachowano natomiast ambonę i chór muzyczny.