Następnie poświęcił swoje życie działalności partii Poalej Syjon. Na ogólnorosyjskim zjeździe Poalej Syjon, który miał miejsce w Krakowie w 1907 roku, przedstawił projekt programu ideologicznego partii oraz jej statut. W tym samym roku był jednym ze współtwórców Światowego Związku Poalej Syjon z siedzibą w Wiedniu. Borochow uczestniczył także w Ósmym Kongresie Syjonistycznym w Hadze, podczas którego Poalej Syjon wystąpił ze struktur Światowej Organizacji Syjonistycznej. Jako przyczynę tej decyzji Borochow podał różnice między syjonizmem praktycznym a syjonizmem politycznym. Poza działalnością polityczną, Borochow jednocześnie prowadził badania nad żydowskim ruchem robotniczym i językiem jidysz.
Następne lata Borochow poświęcił wzmacnianiu struktur Poalej Syjon na całym świecie. W latach 1907–1910 redagował gazetę partyjną publikowaną w Wiedniu. Borochow szczególną uwagę przykładał do działalności syjonistycznej w Palestynie. Miał aspiracje, by zyskać przychylność i sympatię pracujących tam żydowskich robotników. W 1909 roku na II zjeździe Poalej Syjon podjęto uchwałę o nieuczestniczeniu w kolejnym Kongresie Syjonistycznym. Borochow był jednym z głównych inicjatorów przyjęcia tego dokumentu. W tym samym roku uczestniczył w I Światowym Zjeździe Związku Robotniczego Poalej Syjon w Hadze.