Kariera polityczna przed wyborem na gubernatora Olson ukończył prawo na George Washington University oraz University of Michigan i został przyjęty do palestry w Utah w 1901. Jako demokratę wybrano go do stanowej legislatury w Utah w 1916. Jako członek stanowego zgromadzenia ustawodawczego gorąco popierał zakończenie procederu pracy dzieci, wprowadzenie emerytur dla ludzi starszych, podatek progresywny, kontrolę władz nad instytucjami użytku publicznego i przestrzeganie praw związkowców.
W Kalifornii W roku 1920 Olson przeprowadził się do Los Angeles, gdzie prowadził praktykę adwokacką, ścigając zwłaszcza nadużycia finansowe.
Podczas wyborów w roku 1924, kiedy demokraci wystawili kandydaturę znanego z konserwatyzmu Johna W. Davisa, Olson popierał kandydata trzeciej Partii Postępowej Roberta M. La Follette’a Prowadził też kampanię na rzecz znanego pisarza Uptona Sinclaira, który w latach 30. bez powodzenia ubiegał się o fotel gubernatora Kalifornii.
W roku 1934 Olson został przewodniczącym Partii Demokratycznej w Kalifornii. Był gorącym zwolennikiem prezydenta Franklina D. Roosevelta i jego polityki Nowego Ładu.
Gubernator Kalifornii W roku 1938 uzyskał nominację partii jako jej kandydat na gubernatora i wygrał wybory.