W 1836 r., po śmierci swojego wuja, 5. księcia Gordon, odziedziczył wszystkie ziemie rodziny Gordonów i przybrał nazwisko Gordon-Lennox. Był również członkiem loży masońskiej.
Życie prywatne 10 kwietnia 1817 r. w Westminsterze, poślubił lady Caroline Paget (6 czerwca 1796–12 marca 1874), córkę Henry’ego Pageta, 1. markiza Anglesey, i lady Caroline Villiers, córki 4. hrabiego Jersey. Charles i Caroline mieli razem pięciu synów i trzy córki: Charles Henry Gordon-Lennox (27 lutego 1818–26 września 1903), 6. książę Richmond, 6. książę Lennox i 1. książę Gordon Caroline Amelia Gordon-Lennox (18 czerwca 1819 - 30 kwietnia 1890), żona Johna Ponsonby’ego, 5. hrabiego Bessborough, nie miała dzieci Fitzroy George Charles Gordon-Lennox (11 czerwca 1820–1841), zaginął podczas rejsu SS President Henry Charles George Gordon-Lennox (2 listopada 1821–29 sierpnia 1886), ożenił się z Amelią Brooman kapitan Alexander Francis Charles Gordon-Lennox (14 czerwca 1825–22 stycznia 1892), ożenił się z Emily Towleney Augusta Catherine Gordon-Lennox (14 stycznia 1827–3 kwietnia 1904), żona księcia Edwarda z Saksonii-Weimar George Charles Gordon-Lennox (22 października 1829–27 lutego 1887), ożenił się z