Budynek został zaprojektowany w stylu neogotyckim, a materiałem budowlanym był kremowy granit z Glastonbury. Część centralna budynku ma długość 24 m (w głąb działki), a skrzydła boczne po 21 m. Szerokość fasady wynosi 30 m. Koszt budowy wyniósł prawie 35 000 dolarów. Galeria Wadsworth Atheneum w pierwszych latach swojego istnienia rozwijała się powoli. Jej kolekcja składała się głównie z obrazów historycznych, portretów i pejzaży artystów amerykańskich (m.in. John Trumbull, Thomas Cole, Frederic Edwin Church) oraz z rzeźb z epoki wiktoriańskiej. W latach 1889–1893 rodziny Goodwin i Morgan przeprowadziły publiczną zbiórkę funduszy na renowację i rozbudowę muzeum.
XX w. W roku 1905 Elizabeth Hart Jarvis Colt podarowała muzeum ponad 1000 eksponatów, w tym obrazy malarzy Hudson River School, wyroby rzemiosła artystycznego i kolekcję broni palnej jej zmarłego męża Samuela Colta;