W 1725 roku dzięki staraniom przeora Franciszka Wolskiego przebudowano klasztor po raz czwarty, także w drewnie, lecz z powodu niewłaściwie wykonanego remontu konstrukcja lub jej część runęła. Niedługo potem, w 1742 roku, wzniesiono murowany budynek dzięki Franciszkowi Borzęckiemu, podstolemu Wielkiego Księstwa Litewskiego, który przekazał na ten cel 13000 złotych pod warunkiem wyprawiania trzech mszy w tygodniu. Jeszcze w XVI w. do postawienia murowanego klasztoru zobowiązali się Wojciech Erazm i Jan Feliks Herburtowie (deklaracja z 9 października 1612) pod warunkiem, że karmelici odstąpią od dzierżenia kościoła św. Marcina w Felsztynie, który dostali w 1608 roku, do czego nie doszło.
W 1828 roku doszło do pożaru budynku klasztornego i kościoła, wyremontowanych w 1826 roku z datków wiernych. Wskutek pożaru wywołanego uderzeniem pioruna zostały zniszczone kościół, część klasztoru i budynek przyklasztorny. Do 1834 roku pokryto zabudowania dachówką, w latach 1839–1840 dokonano niezbędnych napraw północnego skrzydła klasztoru, które najbardziej ucierpiało, a restaurację całego klasztoru ukończono w 1863 roku, kościoła (z dekoracją wnętrza) w 1869 roku.