12 maja 1971 w Kaplicy św. Anny w Saint-Tropez we Francji ożenił się z nikaraguańską modelką Biancą Pérez-Morą Macías, z którą ma córkę, Jade Sheenę Jezebel (ur. 21 października 1971). Choć rozstał się z żoną już w 1973, to rozwód wziął dopiero w listopadzie 1979. W 1977 związał się z teksańską modelką Jerry Hall, którą poślubił 21 listopada 1990 na Bali. Mają dwie córki: Elizabeth Scarlett (ur. 2 marca 1984) i Georgię May (ur. 12 lutego 1992) i dwóch synów: Jamesa Leroya Augustina (ur. 1986) i Gabriela Luke’a Beauregarda (ur. 1997). Rozstali się w 1999. Jeszcze w trakcie związku z Hall romansował z włoską modelką Carlą Bruni (1992) i czeską modelką Janą Rajlich (1996). W latach 1998–1999 był związany z modelką Lucianą Morad, z którą ma syna Lucasa Maurice’a (ur. w maju 1999). W 2001 związał się z amerykańską stylistką i projektantką mody, L’Wren Scott, a po jej samobójstwie w 2014 (spowodowanym depresją) ustanowił na lata 2015–2017 stypendium jej imienia, pokrywające roczne koszty studiów dla jednej osoby na kierunku projektowanie mody w szkole Central Saint Martins w Londynie. Od 2014 związany jest z młodszą o 44 lata tancerką baletową Melanie Hamrick, z którą ma syna Deverauxa Octaviana Basila (ur. 8 grudnia 2016).