Cmentarz został założony w październiku 1902. Pierwsze groby zostały wykopane daleko od siebie. Uczyniono tak, aby tworzyć fakty na ziemi i zajmować całą powierzchnię cmentarza żydowskiego. Pierwszym zmarłym pochowanym na cmentarzu był Samuel David Gershin-Zane. Pochowano go w północno-wschodnim narożniku cmentarza. Natomiast drugiego zmarłego – Berambarag Nyshkea – pochowano przy północnej granicy cmentarza (przy obecnej ulicy Tiberias). Z tego pierwszego okresu pochodzi wiele bezimiennych grobów, w których chowano zmarłych podczas epidemii.
Do 1932 był to jedyny cmentarz w Tel Awiwie. Bardzo szybko został on jednak przepełniony i w 1932 otworzono cmentarz Nachalat Jicchak, położony we wschodniej części miasta. Na starym cmentarzu chowano jeszcze osoby, które wcześniej wykupiły grunt na pochówek (obecnie ceny sięgają 100 tys. szekli).
Pochowani na Cmentarzu Trumpeldor Na cmentarzu Trumpeldor zostali pochowani liczni wybitni przedstawiciele kultury, nauki i historii tak miasta, jak i państwa Izrael.