Życie prywatne Był pięciokrotnie żonaty i miał pięcioro dzieci (oraz jedno adoptowane). Z pierwszą żoną, Marjorie Berger, miał troje dzieci: córki, Carin Berger (ur. 1952) i aktorkę Debrę Berger (ur. 17 marca 1957), oraz syna Wendella Nelsona Bergera (ur. 28 grudnia 1972). Po zakończeniu małżeństwa z Marjorie ożenił się z aktorką Carolyn Lobravico. Gdy Berger przebywał we Włoszech na planie filmu Klinika morderstw (La lama nel corpo, 1966), Carolyn została aresztowana za posiadanie narkotyków. Zmarła w więzieniu w wyniku zapalenia otrzewnej. Berger, któremu również postawiono zarzut nielegalnego posiadania narkotyków, przebywał w areszcie aż do zwolnienia w marcu 1971. Jego trzecią żoną była piosenkarka i aktorka Hanja Kochansky. Mieli razem jedno dziecko – syna Kasimira Bergera (ur. 7 października 1974 w Londynie). Berger był również ojczymem aktorki Katyi Berger, córki Hanjy Kochansky z poprzedniego związku. Wystąpił wraz z synem Kasimirem w miniserialu Krzysztof Kolumb. Po rozwodzie z Kochansky ożenił się po raz czwarty z Dörte Völz. Miał z nią syna o imieniu Alexander Völz.