W 1906 roku przekazał swoją kolekcję narodowi amerykańskiemu jako dar, który rok wcześniej zaproponował prezydentowi Theodore Rooseveltowi. Do zaprojektowania swojej galerii sztuki wybrał architekta Charlesa Platta, któremu przedstawił pomysł klasycznego i harmonijnego budynku w stylu włoskim z dziedzińcem pośrodku. Budynek został otwarty dla publiczności w 1923 roku stając się pierwszym muzeum sztuki w kampusie Smithsonian Institution. Od chwili otwarcia budynku galerii dla publiczności aż do lat 70. dziedziniec galerii przemierzały żywe pawie, konkurując z pawiami Jamesa McNeilla Whistlera z jego Pawiego Pokoju.
Kiedy Freer fundował galerię, postawił dwa warunki: eksponaty z kolekcji nie mogą być wypożyczane, a w galerii nie mogą być wystawiane eksponaty z zewnątrz. Z powodu tych restrykcji z czasem stało się niezbędne zbudowanie drugiego, komplementarnego muzeum dla pomieszczenia kolekcji sztuki azjatyckiej Arthura M. Sacklera.