Małżeństwo 9 września 1789 r. poślubił lady Charlotte Gordon (20 września 1768 – 5 maja 1842), córkę Alexandra Gordona, 4. księcia Gordon i Jane Maxwell, córki sir Williama Maxwella, 3. baroneta. Charles i Charlotte mieli razem siedmiu synów i siedem córek: Charles Gordon-Lennox (3 sierpnia 1791 – 21 października 1860), 5. książę Richmond i 5. książę Lennox Mary Lennox (ok. 1792 – 7 grudnia 1847), żona Charlesa Augustusa FitzRoya, miała dzieci John George Lennox (3 października 1793 – 10 listopada 1873), ożenił się z Louisą Rodney, miał dzieci Sarah Lennox (ok. 1794 – 8 września 1793), żona Peregrine’a Maitlanda, nie miała dzieci Georgiana Lennox (30 września 1795 – 15 grudnia 1891), żona Williama FitzGerald-de Rosa, 23. barona de Ros, miała dzieci Henry Adam Lennox (6 września 1797–1812), wypadł za burtę podczas rejsu na HMS Blake i utonął William Pitt Lennox (20 września 1799 – 18 lutego 1881), ożenił się z Mary Anne Paton i Ellen Smith, miał dzieci z drugiego małżeństwa Jane Lennox (ok.