Małżeństwo 20 lutego 1868 roku w wiedeńskim kościele świętego Augustyna Ludwik ożenił się z Marią Teresą Habsburg-Este, jedyną córką arcyksięcia Ferdynanda Karola (syna Franciszka IV, księcia Modeny). Ludwik i Maria Teresa mieli trzynaścioro dzieci: Rupprecht (1869–1955) – książę Bawarii Adelgunda Maria Augusta (1870–1958) – żona Wilhelma, księcia Hohenzollern-Sigmaringen Maria Ludwika Teresa (1872–1954) – żona Ferdinando Piusa, księcia Obojga Sycylii, księcia Kalabrii Karl Maria Luitpold (1874–1927) Franz Maria Luitpold (1875–1957) – mąż Isabelli von Croÿ Matylda Maria Teresa (1877–1906) – żona Ludwiga Gastona Klemensa Marii, księcia Sachsen-Coburg-Gotha Wolfgang Maria Leopold (1879–1895) Hildegarda Maria Christina (1881–1948) Notburga Karolina Maria Teresa (1883) Wiltruda Maria Alix (1884–1975) – żona Wilhelma Wirtemberskiego, księcia Urach Helmtruda Maria Amalia (1886–1977) Dietlinda Maria Teresa (1888–1889) Gundelinda Maria Josepha (1891–1983) – żona Johanna Georga, hrabiego Preysing-Lichtenegg-Moos.