Życie prywatne thumb|Lili Damita i Flynn (1941) Był biseksualny, sypiał głównie z kobietami, ale miewał także homoseksualne zbliżenia. W latach 30. był zaręczony z Naomi Dibbs. W 1935 ożenił się z aktorką Lili Damitą, z którą rozwiódł się niedługo po narodzinach ich syna, Seana (1941–1970). W latach 1943–1949 był mężem aktorki Nory Eddington, z którą miał dwie córki: Deirdrę i Rorę. 23 października 1950 wziął ślub z aktorką Patrice Wymore, którą porzucił jeszcze przed narodzinami ich córki, Arnelii. Nie był wierny swoim żonom. Wśród sławnych osób, z którymi miał romans, były m.in. Lupe Vélez, Olivia de Havilland, Tyrone Power i Eva Perón. Pod koniec życia był zaręczony z aktorką Beverly Aadland.
W latach 40. był sądzony za stosunki seksualne z nieletnimi kobietami (Peggy LaRue Satterlee i Betty Hansen), jednak został uniewinniony. Na początku lat 50. znów stanął przed sądem w charakterze oskarżonego o kontakty seksualne z nieletnią (Denise Duivier), ale pozew został oddalony.
Pod koniec lat 50.