Pod wpływem swojego przyjaciela, Mosze Netzera, przeprowadził się do kibucu Ramat Jochanan, gdzie pomagał w nauczaniu młodzieży.
Kariera wojskowa thumb|left|Icchak Rabin, 1948 thumb|left|Icchak Rabin (z lewej) i Jigal Allon, 1949 Podczas praktyki w kibucu Ramat Jochanan, wstąpił w 1941 do żydowskiej organizacji paramilitarnej Hagana. Jego zdolności wojskowe zostały dostrzeżone przez Jigala Allona, który zachęcił go do wstąpienia do kompanii szturmowych Palmach. W czerwcu i lipcu 1941 wziął udział w alianckiej operacji Exporter wymierzonej przeciwko francuskim rządom Vichy w Mandacie Syrii i Libanu. Uczestniczył w akcji, w której Mosze Dajan stracił oko. W 1943 Rabin przeszedł kurs dla oficerów i w 1945 został zastępcą dowódcy 1 Batalionu Palmach.
Po zakończeniu II wojny światowej stosunki brytyjsko-żydowskie w Palestynie były niezwykle skomplikowane. Źródłem licznych napięć było blokowanie przez brytyjskie władze napływu żydowskich imigrantów z Europy do Ziemi Izraela. Złapanych nielegalnych imigrantów umieszczano w obozie Atlit. Icchak Rabin otrzymał wówczas rozkaz przygotowania planu uwolnienia więźniów z obozu. W dniu 10 października 1945 członkowie kompanii szturmowych Palmach przeprowadzili atak na obóz i uwolnili 208 żydowskich więźniów.