W sierpniu 1924 został skierowany do Getyngi, gdzie objął dowodzenie nad 7 kompanią 17 Pułku Piechoty. W październiku 1926 von Armin został wysłany na kurs artyleryjski do Jüterbogu. W styczniu 1928 roku został przeniesiony do sztabu dowództwa artylerii II (niem. Artillerieführer II). Pod tą nazwą kryła się późniejsza 2 Dywizja Piechoty. W kwietniu 1929 roku von Armin awansował do stopnia majora. W październiku przeniesiono go do sztabu 6 Dywizji Reichswehry z siedzibą w Münsterze.
W październiku 1932 roku von Armin awansował do stopnia podpułkownika. W tym stopniu objął w czerwcu 1933 roku dowodzenie nad 6 Pułkiem Piechoty w Schwerinie. 1 kwietnia 1934 roku na tym stanowisku zastąpił go Werner-Albrecht Freiherr von und zu Gilsa, von Armin został przeniesiony do sztabu Dowództwa Grupy 1 w Berlinie. Wraz z przekształceniem Reichswehry w Wehrmacht, 1 października 1934 roku awansował do stopnia pułkownika. W 1935 roku von Armin zdał egzamin dla tłumaczy języka francuskiego z oceną „szczególnie przydatny”. We wrześniu 1936 roku von Armin został przeniesiony do sztabu dowództwa IX Korpusu Armijnego. 28 lutego 1938 roku awansowano go do stopnia generała majora. W październiku został przeniesiony do Naczelnego Dowództwa Wojsk Lądowych (OKH) na stanowisko kwatermistrza Sztabu Generalnego.