Na przełomie 1854 i 1855 roku otrzymał posadę nauczyciela księcia Albrechta Hohenzollerna i został awansowany na majora. Na dworze książęcym pozostawał do 1857 roku, kiedy powrócił do służby liniowej, do sztabu Królewskiej Gwardii Przybocznej (niem. Regiment der Gardes du Corps). Jednak już kilka miesięcy później objął stanowisko tymczasowego dowódcy 2. Pułku Kirasjerów. W 1858 roku został dowódcą Pułku Kirasjerów Gwardii oraz otrzymał stopień podpułkownika (niem. Oberstleutnant).
W 1863 roku, kiedy von Rheinbaben był już pułkownikiem (niem. Oberst), powierzono mu zwierzchnictwo nad 2. Brygadą Kawalerii Gwardii. Dwa lata później awansował na generała majora (niem. Generalmajor). Po ogłoszeniu mobilizacji do wojny prusko-austriackiej został mianowany dowódcą 1. Lekkiej Brygady Kawalerii, z którą walczył między innymi w bitwie pod Sadową za co otrzymał Order Orła Czerwonego II klasy. Wraz z zakończeniem konfliktu objął dowództwo nad nowoutworzoną 3. Brygadą Kawalerii Gwardii. Rok później otrzymał awans na generała porucznika (niem. Generalleutnant) oraz dowództwo nad 9. Dywizją Piechoty.