Zagrał nawet na szczycie piramidy Cheopsa podczas jednej z podróży na Bliski Wschód. Na zamku w Possenhofen organizował spotkania poświęcone muzyce i literaturze, na których dyskutowano i śpiewano. Pasją Ludwiki było natomiast kolekcjonowanie zegarów i geografia. Rodzice nowo narodzonego księcia stanowili więc parę bardzo niedobraną.

Miał dziewięcioro rodzeństwa – Wilhelma Karola (1832–1833), Helenę (1834–1890), Elżbietę (1837–1898), Karola Teodora (1839–1909), Marię (1841–1925), Matyldę (1843–1925), Maksymiliana (1845), Zofię (1847–1897) i Maksymiliana Emanuela (1849–1910).

Życie prywatne Jako pierworodny syn miał prawo być spadkobiercą swego ojca. Zrzekł się jednak tego prawa, aby móc ożenić się z aktorką, Henriette Mendel. Po zawartym małżeństwie morganatycznym kobieta stała się baronową von Wallersee. Ludwik Wilhelm miał z żoną dwoje dzieci – Marię (1858–1940) i Karla Emanuela (1859). Po śmierci Henriette, która miała miejsce w 1891 roku, ożenił się ponownie. Jego wybranką została aktorka, Barbara Antonie Barth. Małżeństwo to zakończyło się rozwodem w 1913 roku – po tym, gdy okazało się, że kobieta urodziła nieślubne dziecko.

Ludwik Wilhelm zmarł 6 listopada 1920 roku w Monachium.