Po raz pierwszy trafił na ekran jako dżentelmen Emcee w krótkometrażowym filmie muzycznym Noc na Manhattanie (1937), zanim w 1939 dołączył do Columbia Pictures. Jego pseudonim sceniczny pochodzi od rodzinnego miasta jego ojca, Glenford w Albercie. Swoją pierwszą poważną rolę kinową Joe zagrał w dramacie przygodowym Ricardo Corteza Niebo z ogrodzeniem z drutu kolczastego (Heaven with a Barbed Wire Fence, 1939) na podstawie scenariusza Daltona Trumbo dla 20th Century Studios. Po zakończeniu II wojny światowej został obsadzony u boku Rity Hayworth w roli nałogowego hazardzisty Johnny’ego Farrella w dramacie noir Charlesa Vidora Gilda (1946) i dreszczowcu Przygoda na Trynidadzie (Affair in Trinidad, 1952).
Szczyt jego kariery aktorskiej przypadł na lata 50., kiedy to był jednym z najpopularniejszych aktorów Hollywood i kreował swoje najciekawsze role. Największe sukcesy odnosił w filmach wojennych i westernach, w tym Jeden przeciw wszystkim (The Sheepman, 1958) jako Jason Sweet. Od 1971 prowadził w CBS swój własny program pt. The Glenn Ford Show. Za namową szefa stacji Freda Silvermana zagrał w serialu kryminalnym Cade’s County (1971–1972) i The Family Holvak (1975–1976).