Pożar zniszczył Fort Pontchartraint w 1703 roku. Ta katastrofa zniszczyła wszystkie zapiski i rejestry. Cadillac został odwołany do Quebecu w 1704 roku pod zarzutem handlu alkoholem i futrami. Chociaż był więziony zapobiegawczo przez kilka miesięcy, został oczyszczony z zarzutów w 1705 roku. Król gwarantował mu wszystkie jego tytuły i zapewnił mu monopol na handel futrami, o który zabiegał. Dwa lata później Cadillac został oskarżony o nadużycia uprawnień.
Luizjana (1710-1716) mały| monument oznaczający usytuowanie pierwszej kopalni rudy ołowiowej w dolinie Missisipi, otwartej ok. 1700 r., nazwanej na cześć Antoine’a de la Mothe Cadilaca W 1710 r. król ogłosił Cadillaca gubernatorem Luizjany i rozkazał mu natychmiast wyruszyć żeby podjąć swoje obowiązki. Cadillac nie posłuchał. W 1711 roku wsiadł z rodziną na statek do Francji. W Paryżu, w 1712 roku, przekonał urodzonego w Tuluzie Antoine’a Crozata, aby zainwestował w LuizjanieAgnes Christina Laut, Cadillac, knight errant of the wilderness: founder of Detroit, governor of Louisiana from the Great lakes to the Gulf, 1931..