Ludwik Antoni zmarł w 1785, z rozkazu Karola III dzieci zostały odebrane matce i wysłane do Toledo. Edukacją ośmioletniego Ludwika Marii zajął się przyjaciel jego ojca, arcybiskup Toledo Francisco de Lorenzana, a jego siostry trafiły do klasztoru św. Klemensa. Mimo starań Teresy de Vallabriga, Estanislao Lugo nie mógł towarzyszyć Ludwikowi Marii w Toledo, natomiast kardynał zaakceptował jego nauczyciela Miguela de Ramón y Linacero. Król Karol III zaplanował życie klasztorne dla wszystkich dzieci brata, eliminując w ten sposób ich potencjalne roszczenia do tronu i możliwość posiadania prawnego potomstwa.
Rehabilitacja Krótko po wstąpieniu na tron Karola IV oraz jego małżonki Marii Ludwiki Parmeńskiej, rodzina Ludwika Marii została zrehabilitowana. W 1797 królowa Maria Ludwika zaaranżowała małżeństwo jego siostry Marii Teresy ze swoim faworytem i pierwszym ministrem króla, Manuelem Godoyem, aby w ten sposób podnieść jego status społeczny. Ludwik Maria prowadził negocjacje z koroną na temat warunków małżeństwa jego siostry, dzięki którym rodzeństwo Vallabriga odzyskało tytuły i liczne przywileje utracone przez małżeństwo ojca.