Jego rodzice byli żydowskimi emigrantami z Europy Wschodniej.
Ojciec, Nehemiasz Rubitzow urodził się w 1886 we wsi Sydorowycze koło Iwankowa na Ukrainie, wówczas w Imperium rosyjskim. Jego ojciec zmarł, gdy był jeszcze dzieckiem, i Nehemiasz musiał pracować na utrzymanie rodziny. W wieku 18 lat wyemigrował do Stanów Zjednoczonych, gdzie przyłączył się do syjonistycznej partii lewicowej Poalej Syjon i zmienił swoje nazwisko na Rabin. Podczas I wojny światowej w 1917 wraz z grupą ochotników wstąpił do Legionu Żydowskiego. Po wojnie pozostał w brytyjskim Mandacie Palestyny.
Matka, Rosa Kohen urodziła się w 1890 w Mohylewie na Białorusi, wówczas w Imperium rosyjskim. Jej ojciec był rabinem, który sprzeciwiał się działalności ruchu syjonistycznego i wysłał córkę do chrześcijańskiej szkoły dla dziewcząt w Homlu. W 1919 Rosa wyemigrowała do Mandatu Palestyny i zamieszkała w kibucu nad jeziorem Tyberiadzkim. Potem przeprowadziła się do Jerozolimy, gdzie poznała Nehemiasza Rabina. W 1921 wzięli ślub. Icchak otrzymał imię na cześć dziadka, rabina Icchaka Kohena.