Życiorys Życie osobiste i edukacja Przyszedł na świat w Paryżu wraz z siostrą bliźniaczką Liliane jako syn Olgi (1894–1985; z domu Bessman) Ginsburg i Josepha Ginsburga (1896–1971), rosyjskich Żydów, którzy wyemigrowali do Francji, uciekając po rewolucji październikowej (1917). Miał starszą siostrę Jacqueline (ur. 1926) i starszego brata, który zmarł jako dziecko. Na okres jego dzieciństwa przypadła hitlerowska okupacja Francji, w czasie której rodzina musiała się ukrywać. Jego ojciec był pianistą i grał w klubach.
Uczęszczał do Lycée Condorcet w Paryżu, ale przerwał naukę przed maturą. W 1945 roku ojciec Gainsbourga zapisał go do École nationale supérieure des beaux-arts. Po studiach artystycznych i pedagogicznych zaczął malować. Grał również na fortepianie w barach. Później trafił do obsady musicalu Milord L’Arsoille, gdzie niechętnie przyjął rolę śpiewaka (chciał zaistnieć jako kompozytor i producent, a nie jako wykonawca).
3 listopada 1951 poślubił , z którą się rozwiódł 9 października 1957. Od listopada 1962 do roku 1967 Gainsbourg był związany z aktorką Brigitte Bardot. 7 stycznia 1964 ożenił się z Françoise Pancrazzi, z którą miał dwójkę dzieci: córkę Natachę (ur. 8 sierpnia 1964) i syna Paula (ur. 1968). Jednak 20 października 1966 doszło do rozwodu.