Życie prywatne Był pięciokrotnie żonaty. Od 23 października 1937 do 1939 i po raz drugi od 17 maja 1947 do 19 grudnia 1953 jego żoną była aktorka i rzeźbiarka Frances Gunby Pilchard, z którą miał córkę Pepę Phillippę (ur. 19 sierpnia 1941) i syna Marka Younga (ur. 19 czerwca 1944). 6 października 1942 poślubił Barbarę C. Tripp, z którą miał dwoje dzieci – córkę Melę (ur. 1937) i syna Christophera (ur. 1944). Rozwiedli się w 1944.
W lipcu 1953, kiedy Ferrer był żonaty z Frances Gunby Pilchard, poznał o 12 lat młodszą Audrey Hepburn. W grudniu 1953 doszło do rozwodu z Pilchard. Razem z Hepburn zagrał w broadwayowskiej sztuce Jeana Giraudoux Ondine (1954) w reż. Alfreda Lunta i ekranizacji Wojny i pokoju (War and Peace, 1956) w reż. Kinga Vidora. 25 września 1954 zawarli związek małżeński. Mieli syna Seana (ur. 7 lipca 1960). Na planie Dwoje na drodze (1967) Hepburn wdała się w romans z Albertem Finneyem. Ferrer także wdawał się w przelotne romanse. Ferrer był producentem dreszczowca Doczekać zmroku (1967) z Hepburn. Po premierze filmu, latem 1967 Audrey Hepburn złożyła papiery rozwodowe.