W 1937 został odkryty przez łowcę talentu Paramount Pictures, podpisując swój pierwszy kontrakt. W kinie debiutował tuż przed wybuchem II wojny światowej – wystąpił jako więzień w przygodowym dramacie kryminalnym Prison Farm (1938) z Lloydem Nolanem, J. Carrolem Naishem i Marjorie Main. Pierwszą dużą rolę jako Joe Bonaparte zagrał w melodramacie Roubena Mamouliana Złoty chłopiec (Golden Boy, 1939). Odtąd określany był mianem „złotego chłopca”. W czasie wojny służył w lotnictwie i grał w filmach instruktażowych. Po jej zakończeniu mozolnie budował swą karierę.
Przełomem okazała się rola Joego Gillisa, młodego scenarzysty marzącego o sławie w filmie noir Billy’ego Wildera Bulwar Zachodzącego Słońca (1950). Wiąże się on z Normą Desmond (Gloria Swanson), niegdysiejszą gwiazdą kina niemego. Kreacja przyniosła mu pierwszą nominację do Oscara. Był wielką gwiazdą lat 50. Grał w filmach różnorodnych gatunkowo: westernie Ucieczka z Fortu Bravo (1953), komedii romantycznej Sabrina (1954) czy wojennym Moście na rzece Kwai (1957).