Ogród thumb|250px|Fragment ogrodu otaczającego muzeum Pierwotny ogród otaczający muzeum został założony po roku 1870, kiedy to Ezra i Jeanne Carrowie tworzyli Carmelita. Był to wówczas najbardziej rozległy ogród w Pasadenie, pełen roślin z całego świata, z których wiele zostało wyhodowanych przez samych darczyńców, w tym botanika Johna Muira, przyjaciela i byłego studenta Ezry Carr. Podobnie jak ogród Moneta, w Giverny, ogród w Norton Simon Museum jest żywym dziełem sztuki zapewniającym ciche i inspirujące otoczenie dla muzeum i jego gości. Obecny ogród został zaprojektowany w 1999 przez znanego architekta krajobrazu, Nancy Goslee Power. Na ok. 7100 m² powierzchni rośnie ponad 180 gatunków drzew (m.in. figowiec wielkolistny, cedr himalajski, cyprys kaszmirski, eukaliptus cytrynowy), krzewów, winorośli i bylin. Całości założenia dopełnia wijący się meandrami staw, porośnięty liliami wodnymi i roślinami bagiennymi oraz niewielki wodospad. Ogród wypełniają okazałe rzeźby pomysłowo wkomponowane w krajobraz.