Gdy do wiadomości publicznej dotarł fakt, iż Ludwik Wiktor jest homoseksualistą i transwestytą oraz zamieszany jest w wiele intryg i skandali (na przykład w Cesarskiej Saunie), jego brat, cesarz Franciszek Józef, nakazał mu opuścić Wiedeń. Został wysłany do pałacu Klessheim niedaleko Salzburga z nakazem nieopuszczania tego miejsca. We wspomnieniach arcyksiążę Ludwik Wiktor jawił się jako człowiek niesympatyczny.

Księżna Luiza Belgijska była obiektem westchnień wielu monarszych adoratorów. Wyróżniający się przez wiele skandali, najmłodszy brat cesarza, arcyksiążę Ludwik Wiktor, także zabiegał o księżną, która według Julii Stockhausen, swojego czasu była „najbardziej ekstrawagancką kobietą wiedeńskiego dworu”.

W swoich wspomnieniach księżna Luiza Belgijska pisze: „Przez wiele lat arcyksiążę Ludwik Wiktor, zasypywał mnie uprzejmościami wszelkiego rodzaju;