Pierwotnie pochówki były dokonywanie na nieistniejącym dziś cmentarzu przed Bramą Szpitalną okolice kościoła Świętego Ducha) założonym w 1515 r. Z powodu niechęci posiadania wspólnego katolicko-protestanckiego cmentarza, w 1539 r. katolików zaczęto chować przy kościele Nawiedzenia NMP, na którym patronat sprawował zakon augustianów. Po nabyciu wzgórza winnego w czasach opata Jakuba II Liebiga teren cmentarza powiększono i częściowo ogrodzono. W roku 1598 w północno-zachodniej części cmentarza rozpoczęto budowę Kaplicy Bożego Grobu.
W roku 1690, tj. za czasów opata Andrzeja Wojciecha Thiela, cmentarz otoczono murem z dwiema bramami. Z inicjatywy wspomnianego opata na terenie cmentarza wzniesiono dalsze, obok wspomnianej Kaplicy Bożego Grobu, obiekty związane z kultem Męki Pańskiej; w roku 1691 przy bramie wschodniej wystawiono Kaplicę Świętego Krzyża, a na północ od kościoła – Kaplicę Namaszczenia.