Po klęsce pod Waterloo i ostatecznej abdykacji Napoleona Bonaparte, Savary chciał mu towarzyszyć na wygnaniu, ale został powstrzymany i uwięziony przez Anglików.

Po upadku Napoleona Po upadku Napoleona Savary znalazł się w niełasce nowych władców Francji, którzy nie mogli mu wybaczyć udziału w zabójstwie księcia d'Enghien. W 1816 zaocznie został skazany na karę śmierci przez sąd wojskowy. Musiał uciekać z burbońskiej Francji, schronił się w tureckiej Smyrnie, następnie w austriackim Grazu. W 1819 wrócił do Francji, czasowo aresztowany, w ponownym procesie został uniewinniony przez sąd wojskowy (grudzień 1819). W następnym roku przywrócono mu stopień generała. W 1823 ponownie opuścił Francję i zamieszkał w Rzymie. Gdy we Francji po rewolucji lipcowej rozpoczął panowanie król Ludwik Filip I (1830–1848), Savary powrócił do czynnej służby w armii francuskiej, by w 1831 objąć dowodzenie wojskami w Algierii, gdzie rok wcześniej rozpoczęła się francuska kolonizacja. Tam w brutalny sposób prowadził walki z miejscowymi mieszkańcami. Z uwagi na stan zdrowia odwołany do Paryża, gdzie zmarł 2 czerwca 1833.