Niedługo potem prace przerwano, ponieważ Daher el-Omar zabrał najlepszych pracowników do budowy swojego zamku w pobliżu Hajfy. Karmelici zostali zmuszeni do opuszczenia klasztoru. Zaproponowano im osiedlenie się w Hajfie, niedaleko istniejącego tam kościoła, co dało początek parafii łacińskiej, pierwszej formalnie erygowanej od czasu wypraw krzyżowych.
Na wiosnę 1768 roku ruszyły prace budowlane. 16 lipca tego samego roku, w uroczystość Najświętszej Maryi Panny z Góry Karmel rozpoczęto budowę kościoła, który znajdował się pośrodku założenia klasztornego, budowanego na niemal kwadratowym planie. Prace z powodu trudności finansowych, politycznych i organizacyjnych przeciągały się.
Wybuch rewolucji francuskiej pod koniec XVIII w. sprawił, iż ze strony Francji zmniejszyło się dyplomatyczne i finansowe wsparcie dla Góry Karmel. W 1799 roku, w ramach wyprawy Napoleona do Egiptu, oddziały napoleońskie zajęły Hajfę i otoczyły Akkę. Budynki klasztorne zostały zajęte na szpital wojskowy. Po odejściu Francuzów na klasztor napadli Turcy i wymordowali pozostawionych tam chorych, niszcząc przy tym budynek. Zakonnicy schronili się do swojej rezydencji w Hajfie, skąd powrócili do Europy. Gdy sytuacja w Palestynie uległa pewnej stabilizacji, na górę Karmel został wysłany o. Juliusz od Zbawiciela. Przybył on tam w połowie 1803 roku.