Po śmierci Filipa IV, który zmarł 29 listopada 1314 r., królem został jego syn, Ludwik X Kłótliwy. Faktycznym władcą Francji został jednak Karol de Valois, a nie słaby król. W 1315 r. udało się księciu doprowadzić do procesu i egzekucji de Marigny'ego. Ludwik X zmarł w 1316 r., pozostawiając żonę, Klemencję, brzemienną. Karol starał się o regencję na czas ciąży królowej i małoletności jej potencjalnego syna, jednak pokonał go jego bratanek, młodszy brat Ludwika X, Filip de Poitiers. Królowa Klemencja rzeczywiście urodziła syna, Jana, ale zmarł on po 5 dniach. Filip de Poitiers został królem jako Filip V.
Za jego rządów wpływ Karola na władzę został ograniczony. Valois stał się, obok Roberta III d’Artois, największym oponentem króla. Filip V zmarł w 1322 r. i tron objął jego młodszy brat, Karol IV Piękny. Karol de Valois odzyskał wpływ na rządy stając się ponownie faktycznym władcą Francji. W 1324 r. poprowadził swoją ostatnią wyprawę wojenną do Gujenny, chcąc zmusić króla Anglii Edwarda II do złożenia hołdu królowi Francji. Kampania zakończyła się sukcesem. Hołd złożył w sierpniu 1325 r. syn Edwarda II, hrabia Chester.