Ludwik XVIII ponownie na premiera powołał Richelieu, który zgodził się na to dopiero po zapewnieniu przez brata króla, hrabiego d’Artois, że będzie on popierał ten rząd. Po wyborach w listopadzie 1820, z których prawica wyszła wzmocniona, a opozycja liberalna rozbita, do rządu weszli dwaj ultrakonserwatyści: Villèle jako minister bez teki oraz Corbière jako minister oświaty. Nie usatysfakcjonowało to jednak stronnictwa hrabiego d’Artois, które dążyło do usunięcia Richelieu. W końcu Richelieu udał się do hrabiego d’Artois przypomnieć mu jego obietnicę, iż jego przyjaciele nie będą go atakować, lecz popierać do końca, na co brat króla odpowiedział: Drogi diuku, potraktował pan sylaby zbyt dosłownie, a poza tym okoliczności były wtedy takie trudne!José Cabanis, Karol X. Król-ultras, PIW, Warszawa 1981, s. 225.. Ostatecznie w grudniu 1821 rząd Richelieu upadł i powstał ultrakonserwatywny rząd Villèle’a. Popierał go królewski brat, hrabia d’Artois, arystokracja, Kościół, konserwatywne kluby, komitety, gazety i stowarzyszenia. Rozpoczęły się represje wobec opozycji.
Książę de Richelieu znał kilka języków obcych, w tym język polski. Zmarł 17 maja 1822 roku na apopleksję.