Później był szefem operacji na froncie południowym i jako zastępca Jigala Allona uczestniczył we wszystkich ważnych bitwach na pustyni Negew. Na początku 1949 był członkiem izraelskiej delegacji negocjującej porozumienia z Rodos. W sierpniu 1949 objął na dwa miesiące stanowisko szefa Południowego Dowództwa. Podczas wojny poznał swoją późniejszą żonę, Leę z domu Schlossberg. Mieli dwoje dzieci: Dalję (posłankę do Knesetu w latach 1999–2003) oraz Juwala.
Po wojnie nastąpiła restrukturyzacja Sił Obronnych Izraela, i wielu dowódców Palmach zostało zwolnionych z wojska. Pozycja Rabina również była zagrożona, jednak w listopadzie 1949 mianowano go szefem kursu dowódców batalionów. Na początku 1951 został mianowany szefem zarządzania operacyjnego w Sztabie Generalnym Sił Obronnych Izraela. W grudniu 1952 został wysłany do wojskowej szkoły sztabowej w Camberley w Wielkiej Brytanii. Rok później otrzymał awans na pułkownika. W latach 1956–1959 był szefem Północnego Dowództwa. Następnie powrócił do Sztabu Generalnego i w latach 1959–1961 był szefem zarządzania operacyjnego, a w latach 1961–1963 zastępcą szefa Sztabu Generalnego Sił Obronnych Izraela (w stopniu allufa).