Lata szkoły średniej spędził w San Francisco w domu swojej ciotki Henriette Levy (z d. Michelson), która była matką pisarki Harriet Lane Levy. Studiował w U.S. Naval Academy w Annapolis w latach 1869 do 1873. Tam po raz pierwszy zetknął się z obserwacjami astronomicznymi (kadeci mieli do dyspozycji w pełni wyposażone obserwatorium astronomiczne). Po odbyciu dwuletniej służby na morzu został zatrudniony w macierzystej uczelni na stanowisku wykładowcy fizyki i chemii. Na dalszą naukę został wysłany do Europy, głównie do Berlina (1880–1882).
Po powrocie w maju 1882 roku został dyrektorem wydziału fizyki Szkoły Nauki Stosowanej Case’a (Case School of Applied Science) w Cleveland (obecnie Uniwersytet Case’a i Western Reserve). Tam wspólnie z E. Morleyem przeprowadził w 1887 eksperyment, który wykazał, że hipotetyczny eter kosmiczny, rzekomo potrzebny do propagacji światła, nie może być statyczny ani częściowo wleczony. W latach 1889–1892 był profesorem Szkoły Nauki Stosowanej Case’a w Cleveland i Uniwersytetu Clarka w Worcester.