Małżeństwo nie zostało skonsumowane, gdyż Maria Leopoldyna odmówiła kontaktów fizycznych z mężem.
Pomimo pozostawania w nieudanych związkach małżeńskich Karol Teodor prowadził ożywione życie erotyczne. Wchodził w związki z licznymi kochankami, z których dwie otrzymały oficjalny tytuł metresy książęcej i pokaźne uposażenia. Współcześnie znane są cztery partnerki Karola Teodora:
aktorka Françoise Després-Verneuil (zm. 1765), późniejsza hrabina Parkstein, z którą miał zmarłego w niemowlęctwie syna i córkę: Karoline Franziska Dorothea von Parkstein (1762–1816) ⚭ gen. por. Friedrich Wilhelm zu Isenburg und Büdingen (1730–1804), Maria Josepha Seyffert (1748–1771), późniejsza hrabina Heydeck: Karoline Josepha Philippina von Bretzenheim (1768–1786), Karl August Friedrich Joseph von Bretzenheim (1768–1823), książę Rzeszy, hrabia Heydeck, wielki przeor Bawarii Zakonu Maltańskiego Eleonore Karoline Josephine von Bretzenheim (1771–1832) ⚭ hrabia Wilhelm Carl zu Leiningen-Guntersblum (1737–1809) Friederike Karoline Josephine von Bretzenheim (1771–1816) ⚭ hrabia Maximilian von Westerholt-Gysenberg (1772–1854)