Życie prywatne Romansował z kobietami Hollywood, wśród nich były m.in. Rita Hayworth, Ava Gardner, June Allyson, Dorothy Dandridge, Lucille Ball, Anne Baxter, Judy Garland, Judy Holliday i Lana Turner.
Był czterokrotnie żonaty. 24 kwietnia 1954 poślubił Patricię Kennedy (1924-2006), siostrę prezydenta Johna F. Kennedy’ego i senatorów Roberta F. Kennedy’ego i Edwarda M. Kennedy’ego. Mieli czworo dzieci: syna Christophera (ur. 29 marca 1955) oraz trzy córki - Sydney Maleię (ur. 25 sierpnia 1956), Victorię Francis (ur. 4 listopada 1958) i Robin Elizabeth (ur. 2 lipca 1961). Jednak 1 lutego 1966 doszło do rozwodu. 30 października 1971 ożenił się po raz drugi z Mary Rowan, lecz i ten związek zakończył się rozwodem 2 stycznia 1975. Od 25 czerwca 1976 jego żoną była Deborah Gould, lecz w 1977 rozwiódł się. 5 lipca 1984 zawarł związek małżeński z Patricią Seaton, który przetrwał do jego śmierci.
Zmarł 24 grudnia 1984 w Cedars-Sinai Medical Center w Los Angeles na skutek nagłego zatrzymania krążenia w wieku 61 lat.