W 1967 przeszedł swój pierwszy zawał serca. Wrócił jednak do pracy nim jeszcze skończył się okres rekonwalescencji – jeszcze w tym samym roku w filmie Doktorze do dzieła zagrał pacjenta spędzającego większość czasu w szpitalnym łóżku, co bardzo dobrze pasowało do jego autentycznego stanu zdrowia. 26 kwietnia 1976 roku doznał zawału po raz drugi, w czasie spektaklu w teatrze w Sunderland, w którym grał główną rolę. Przedstawienie natychmiast przerwano, a Jamesem zajął się znaleziony wśród widzów lekarz. Mimo jego wysiłków zmarł wkrótce po przewiezieniu do szpitala. Miał 62 lata. Jego ciało zostało przewiezione do Londynu, gdzie poddano je kremacji, a prochy rozrzucono na specjalnym polu.
Życie prywatne James przez całe życie miał opinię kobieciarza, zresztą często był także obsadzany w tego typu rolach. Był trzykrotnie żonaty. Najdłużej trwał jego związek z Valerie Assan, trzecią żoną, z którą był od 1952 aż do śmierci. Jamesowi zdarzało się jednak zdradzać Valerie, o czym z lubością rozpisywały się brukowe media. Szczególnie nagłośniony był jego romans z inną gwiazdą filmów Cała naprzód, Barbarą Windsor. Oprócz romansów, James miał kłopoty także z hazardem.