Gmach zaprojektowali Tadeusz Tołwiński i Antoni Dygat. Kamień węgielny wmurowano 15 czerwca 1927 roku. Budowa trwała z przerwami do 1938 roku z powodu problemów finansowych miasta oraz bankructw wykonawców. Wcześniej jednak w gotowych częściach nowo powstałego muzeum otwierano kolejne działy, w 1932 dając publiczności dostęp do zbiorów Galerii Zdobniczej. Uroczyste otwarcie ukończonego gmachu nastąpiło 18 czerwca 1938 roku.
Dyrektorem muzeum w ciągu dwudziestu lat 1916–1936 był Bronisław Gembarzewski – muzeolog i historyk wojskowości (od 1920 – także dyrektor Muzeum Wojska Polskiego). Lata 30. przyniosły zmianę na stanowisku dyrektora muzeum, kiedy to w roku 1936, na 47 lat (do roku 1982 – z przerwą w czasie II wojny światowej), objął je Stanisław Lorentz.
Gmach został uszkodzony w czasie obrony Warszawy we wrześniu 1939. Podczas II wojny światowej część eksponatów uległa zniszczeniu, większość z nich jednak uratowano dzięki wysiłkowi pracowników muzeum, chroniących nie tylko jego zbiory, ale także innych instytucji: wnętrza Zamku Królewskiego czy Łazienek, kolekcje innych instytucji czy osób prywatnych.