Zmienił nazwisko na Scott, gdy jednak okazało się, że inny aktor już się tak nazywa, zdecydował się na Caine – inspiracji dostarczył mu tytuł dramatu wojennego Bunt na okręcie (w oryginale The Caine Mutiny) z Humphreyem Bogartem. Zaczął grywać role epizodyczne w Westminster Repertory Company na scenie Carfax Electric Theatre. Pierwszy znaczący sukces sceniczny osiągnął w komedii Next Time I’ll Sing To You.
Jego pierwszą kinową rolą była postać Lockyera – jednego z szeregowców w dramacie wojennym A Hill in Korea (1956) u boku Harry’ego Andrewsa, George’a Bakera, Stanleya Bakera, Roberta Shaw i Stephena Boyda. Przepustką do sławy okazała się kreacja porucznika Gonville’a Bromheada, oficera dowodzącego obroną brytyjskiej kolonii w Afryce Południowo-Wschodniej przed zuluskimi wojownikami w dramacie wojennym Zulu (1964). Wkrótce został obsadzony w roli tytułowego podrywacza Alfiego Elkinsa w komedii Lewisa Gilberta Alfie (1966), za którą otrzymał swoją pierwszą nominację do Oscara.
W filmie kryminalnym Sidneya J.