Pierwsze małżeństwo lorda Spencera zakończyło się rozwodem 3 grudnia 1997 roku. Catherine poślubiła później Jonathana Aitkena, z którym ma jednego syna. Charles ponownie ożenił się 15 grudnia 2001 roku. Jego żoną została Caroline Victoria Hutton, była żona Matthew Freuda. Z tego małżeństwa Charles doczekał się syna i córki: Edmund Charles Spencer (ur. 6 października 2003), Lady Lara Spencer (ur. 16 marca 2006).
18 czerwca 2011 w Althorp House, Spencer poślubił Karen Gordon (Karen Villeneuve), kanadyjską filantropkę, fundatorkę i szefową „Executive of Whole Child International”. Mają razem córkę:
Lady Charlotte Diana Spencer (ur. 30 czerwca 2012).
Publikacje Hrabia Spencer napisał dwie książki o historii swojej rodziny: Althorp: The Story of an English House (wyd. 1998) i The Spencer Family (wyd. 1999).
Po śmierci swojej siostry, księżnej Walii, lord Spencer doprowadził do tego, że jej pogrzeb odbył się w rodowej rezydencji Spencerów w Althorp. Charles wygłosił na tym pogrzebie mowę pogrzebową. Otworzył również muzeum w Althorp w imieniu księżnej Diany (jednym z eksponatów jest suknia ślubna księżnej Walii).