W 1877 z inicjatywy zamożnych członków warszawskiej gminy żydowskiej, wybudowano okazały, późnoklasycystyczny budynek mieszczący synagogę oraz dwa domy przedpogrzebowe. Lewy przeznaczony dla zmarłych mężczyzn, a prawy dla kobiet. Na piętrze mieszkał rabin z rodziną. Całość zaprojektował architekt Adolf Schimmelpfennig. W 1882 przed budynkiem wzniesiono studzienkę.
W drugiej połowie XIX wieku otworzono specjalną szkółkę ogrodniczą, dzięki której na cmentarzu posadzono wiele pięknych i ozdobnych drzew. W 1913 potwierdzono zapis dzielący cmentarz na cztery części, co przynajmniej w małym stopniu zmniejszyło konflikty między Żydami ortodoksyjnymi a postępowymi. Między tymi grupami dochodziło również do kilku innych konfliktów, m.in. w sprawie niehebrajskich napisów na nagrobkach, długości przetrzymywania zwłok w domu przedpogrzebowym czy wystawiania ciała zmarłego na katafalku.
W latach 1918–1939 Kiedy po zakończeniu I wojny światowej cmentarz został zupełnie zapełniony, wykorzystano system nasypów polegający na usunięciu nagrobków w kwaterze dziecięcej i usypaniu minimum 1 metra nowej warstwy ziemi na miejscach pochówku mających powyżej 50 lat. Było to konieczne z powodu ciasnoty i braku możliwości powiększenia terenu cmentarza.