Dwukrotne premierostwo Już w lipcu 1815 Richelieu miał objąć stanowisko ministra dworu w gabinecie Talleyranda, jednak odmówił. W rozpisanych na sierpień 1815 r. wyborach do Izby Deputowanych większość uzyskali ultrasi – skrajni konserwatyści dążący do całkowitego powrotu do czasów przedrewolucyjnych. Ludwik powołał jednak na szefa rządu umiarkowanego rojalistę, właśnie księcia Richelieu (który zdołał przekonać króla, że Talleyrand to najgorszy kandydat z możliwych). Chociaż Karta Konstytucyjna przewidywała odpowiedzialność rządu przed królem, zdominowana przez ultrasów Izba Deputowanych (zwaną Izbą Niezrównaną) chciała poddać umiarkowany rząd swojej kontroli. Prowokacyjne ustawy (zniesienie rozwodów), spory z ministrami i próby przywrócenia przedrewolucyjnego porządku spowodowały, że Ludwik stracił w końcu cierpliwość i rozwiązał Izbę Deputowanych. We wrześniu 1816 r. odbyły się nowe wybory, które dały nieznaczną przewagę umiarkowanych rojalistom.