Karol zmarł w Wiedniu 30 kwietnia 1847 roku. Został pochowany w grobowcu nr 122 w Krypcie Kapucyńskiej w Wiedniu. W 1860 roku na Heldenplatz w Wiedniu wzniesiono pomnik konny ku jego pamięci.
Małżeństwo i dzieci mały|Arcyksiążę Karol z rodziną W 1796 arcyksiążę miał ożenić się ze swoją siostrą cioteczną Marią Teresą Charlottą Burbon, córką zgilotynowanych Ludwika XVI, króla Francji i Marii Antoniny Austriaczki, lecz Maria Teresa nie chciała zostać jego żoną.
17 września 1815 poślubił kalwinistkę, księżniczkę Henriettę z Nassau-Weilburg (1797–1829), z którą miał siedmioro dzieci: Maria Teresa Izabela (1816–1867), żona od 1837 roku Ferdynanda II Burbona, króla Obojga Sycylii, Albrecht Fryderyk Habsburg (1817–1895), kolejny książę cieszyński, Karol Ferdynand Habsburg (1818–1874), ożeniony ze swoją kuzynką arcyksiężniczką Elżbietą Habsburg (1831–1903), z którą miał sześcioro dzieci, w tym: Fryderyka Marię Albrechta (1856–1936) – ostatniego księcia Cieszyna, Marię Krystynę (1858–1929) – królową i regentkę Hiszpanii, żonę Alfonsa XII (1857–1885), Karola Stefana (1860–1933) – właściciela dóbr Żywiec i protoplastę „polskiej linii” Habsburgów, Fryderyk Ferdynand Habsburg (1821–1847), Rudolf Franciszek Habsburg (*/† 1822), Maria Karolina Habsburg (1825–1915), Wilhelm Habsburg (1827–1894).