10 czerwca 1920 objął dowództwo 2 pułku szwoleżerów. 3 sierpnia 1920 dowódca 7 Brygady Jazdy podpułkownik Henryk Brzezowski sporządził wniosek o odznaczenie majora Ruppa Orderem Virtuti Militari. 9 września tego roku wniosek został poparty przez pułkownika Juliusza Rómmla. Pułkiem dowodził przez kolejnych siedem lat. 31 marca 1924 prezydent RP nadał stopień podpułkownika ze starszeństwem z dnia 1 lipca 1923 i 9. lokatą w korpusie oficerów jazdy. W styczniu 1927 został przeniesiony do kadry oficerów kawalerii i oddany do dyspozycji szefa Departamentu II Ministerstwa Spraw Wojskowych. 25 kwietnia 1927 został przeniesiony służbowo na trzymiesięczny kurs doszkolenia sztabowych oficerów kawalerii w Obozie Szkolnym Kawalerii w Grudziądzu, w charakterze frekwentanta. 5 listopada 1928 ogłoszono jego przeniesienie na stanowisko rejonowego inspektora koni w Warszawie. Tydzień później generał dywizji Juliusz Rómmel poinformował generalnego inspektora sił zbrojnych marszałka Józefa Piłsudskiego, że podpułkownik Rupp „obecnie zlikwidował wszystkie swoje materialne kłopoty, które mu przeszkadzały dowodzić pułkiem” oraz wyraził pogląd, że pozostawienie go na stanowisku rejonowego inspektora koni byłoby szkodą dla armii.