W 1891 roku po raz pierwszy odwiedził Palestynę, będącą wówczas pod panowaniem Imperium Osmańskiego. Swoje wrażenia z podróży opisał w broszurze wydanej w języku rosyjskim i hebrajskim. Po powrocie zamieszkał w Jekatierinosławiu na Ukrainie, gdzie mieszkał do 1906 roku. Był aktywny w zbieraniu funduszy na działalność syjonistyczną, a także w lokalnej pracy wychowawczej dla żydowskiej młodzieży. Zmodernizował cheder i założył hebrajską bibliotekę, był członkiem zarządu wydawnictwa Ahi Asaf. W 1896 roku przedrukowało ono słynny artykuł Theodora Herzla zatytułowany „Państwo żydowskie” (niem. Der Judenstaat). Krótko potem spotkał się z Herzlem w Wiedniu i z Maxem Nordau w Paryżu. Spotkania te i rozmowy wywarły głębokie wrażenie na Usyszkinie, pomimo zgłaszanych przez niego zastrzeżeń dotyczących rozwoju wyłącznie politycznej koncepcji syjonizmu. Usyszkin był zwolennikiem praktycznego podejścia, z silnym naciskiem na działalność kolonizacyjną Palestyny i potrzebę rozwoju kultury hebrajskiej. W 1897 roku został wybrany sekretarzem Pierwszego Kongresu Syjonistycznego w Bazylei. Podczas dyskusji nad sformułowaniem programu i celu ruchu syjonistycznego, wyraził obawę, że wyraźne określenie tych celów może negatywnie nastawić władze tureckie do istniejącej już społeczności żydowskiej w Palestynie.