Przez 12 lat była związana z francuskim kompozytorem Sergem Gainsbourgiem, z którym miała córkę Charlotte Gainsbourg (ur. 21 lipca 1971). Wspólnie wychowywali obie córki Birkin – najstarsza do 13. roku życia, tzn. do rozstania matki i Gainsbourga, żyła w przekonaniu, że jej biologiczny ojciec nie żyje. Burzliwy związek Birkin i Gainsbourga był wielokrotnie tematem z pierwszych stron gazet. Para rozstała się w 1980 z powodu alkoholizmu i wynikających z niego agresywnych zachowań Gainsbourga.
W latach 1980–1992 była związana z francuskim reżyserem Jakiem Doillonem. 4 września 1982 z tego związku urodziła trzecią córkę Lou Doillon. Gainsbourg został ojcem chrzestnym dziecka.
2 marca 1991 wskutek zawału serca zmarł Serge Gainsbourg, z którym Jane Birkin aż do końca utrzymywała bliskie, przyjacielskie relacje. Kilka dni później zmarł ojciec Birkin.
W latach 90. spotykała się z francuskim pisarzem Olivierem Rolinem.
W 2002 roku zdiagnozowano u niej białaczkę.
11 grudnia 2013 zmarła tragiczne jej najstarsza córka – na skutek upadku z okna swojego apartamentu w Paryżu. Możliwe jest, że Kate Barry popełniła samobójstwo – Birkin poruszyła ten temat m.in.