Małżeństwo i dzieci Nowy król Karol III obawiając się pretensji do tronu zgłaszanych przez młodszego brata, wygnał Ludwika Antoniego z Madrytu. Jednocześnie odebrał mu tytuł infanta i liczne przywileje takie jak prawo do używania nazwiska i herbu Burbonów. Jednym z powodów wygnania było również „złe prowadzenie się” infanta (zwłaszcza że rodzice zaplanowali dla niego karierę duchownego), które raziło pruderyjnego króla. 27 czerwca (lub 28 stycznia) 1776 w Olias del Rey Ludwik Antoni zawarł małżeństwo morganatyczne z doñą Marią Teresę de Vallabriga y Rozas (1758-1820), aragońską hrabianką, córką kapitana aragońskiej kawalerii Józefa Ignacego de Vallabriga y Español i hrabiny Josefy Stuart de Torresecas. Ludwik Antoni zaakceptował decyzję starszego brata, ale do końca życia żałował, że nie został królem. Karol III był zadowolony ze ślubu brata, gdyż dzieci Ludwika Antoniego z tego małżeństwa nie mogły dziedziczyć tronu, a urodziło się ich troje: