Prezydent USA Jimmy Carter, przy wsparciu burmistrza Eda Kocha, zaproponował założenie narodowego miejsca pamięci w Nowym Jorku zamiast w Waszyngtonie, ale zdania w tej sprawie były podzielone. Powołanie przez Kocha w 1981 r. grupy zadaniowej ds. Holokaustu przyspieszyło planowanie powstania nowej instytucji. Grupa robocza zaleciła utworzenie muzeum. Carter w 1978 powołał Komisję Prezydencką, która umieściła tę kwestię na agendzie rządu USA. Program stworzenia muzeum wprowadzono w życie za kadencji prezydenta Billa Clintona w 1993 roku.
Zanim muzeum wybudowano, wiele wydarzeń politycznych opóźniło jego powstanie. Wśród nich wymienić można debaty dotyczące przyszłej struktury, lokalizacji, i innych względów. Miejsce muzeum, które pierwotnie miało znajdować się w obrębie amerykańskiego urzędu celnego im. Aleksandra Hamiltona, zostało przeniesione do Battery Park City w 1986 roku. W 1990 roku muzeum połączyło się z Centrum Badań nad Holokaustem na Brooklynie. Architekt Kevin Roche rozpoczął projektowanie muzeum w 1993 roku.