W 1833 roku wojska tureckie opuściły akropol, a władze nowo utworzonego państwa greckiego rozpoczęły dyskusje nad utworzeniem muzeum akropolu, by chronić jego zabytki przed rabunkiem i zniszczeniem. W 1863 roku podjęto decyzję o budowie muzeum na południowy wschód od Partenonu. Pierwsze muzeum Akropolu w Atenach wzniesiono w latach 1865–1874 według projektu greckiego architekta Panagisa Kalkosa (1818–1875). Muzeum miało ograniczoną powierzchnię – 800 m², która szybko się zapełniła. Po odkryciu licznych posągów w 1885 roku, w 1888 roku podjęto decyzję o budowie nowego gmachu – Małego Muzeum Akropolu.
Po II wojnie światowej Małe Muzeum zostało zburzone w latach 1946–1947, a Stare Muzeum rozbudowane. Muzeum otwarto dla publiczności w 1965 roku. W 1975 roku, wraz z decyzją o przeniesieniu pozostałych rzeźb z Partenonu do muzeum, powstała pilna potrzeba poszerzenia powierzchni muzealnej. W 1976 roku decyzję o budowie nowego muzeum i jego lokalizacji podjął ówczesny premier Grecji Konstandinos Karamanlis (1907–1998).