Pierwszy oficjalny pochówek odbył się 17 listopada 1856. Był to pogrzeb kupca – Lobela Sterna. Ziemia cmentarna została wówczas pobłogosławiona przez rabina Abrahama Geigera. Można tu znaleźć jednak nagrobki o wiele starsze, bo pochodzące z cmentarzy żydowskich istniejących w średniowieczu. Nagrobki były odkrywane na przełomie poprzednich stuleci w różnych miejscach miasta i następnie przenoszone do centralnego lapidarium. Najstarszy z nich ma wyrytą datę 4 sierpnia 1203 i wzniesiony został Dawidowi, kantorowi „o głosie miłym”.

Wraz z nadejściem II wojny światowej pogrzeby na cmentarzu zaczęły powoli ustawać, a w 1943 został on całkowicie zamknięty. Na niektórych macewach znajdują się ślady po kulach, jest to związane z faktem, iż cmentarz był terenem działań zbrojnych w czasie walk o miasto w 1945.

Nekropolia 24 maja 1975 została wpisana do rejestru zabytków. Niedługo po tym fakcie zaczęły się prace nad odnową otaczającego ją muru, konserwacją nagrobków i alejek. Od 1988 roku możemy odwiedzać to miejsce jako Muzeum Architektury Cmentarnej.