Około 1522 roku zaczął pisać dzieło Bejt Josef („Dom Józefa”), które było obszernym komentarzem do halachicznego dzieła Arba'ah Turim napisanego na początku XIV wieku przez rabina Jakuba ben Aszera.
Po śmierci pierwszej żony Józef Karo poślubił córkę znanego talmudysty rabina Chaima Albalaga i zamieszkał w Nikopolu w północnej Bułgarii (lata 1523–1533). Gdy ponownie owdowiał, ożenił się z córką bogatego talmudysty Zachariasza Seschela. Postanowił wtedy spędzić resztę życia w Ziemi Izraela. Po drodze spędził kilka lat w Salonikach, gdzie spotkał się ze znanym kabalistą Józefem Taitazakiem, i Konstantynopolu. W 1535 roku dotarł do Palestyny i rok później zamieszkał w Safedzie w Górnej Galilei. Został uczniem rabina Jakuba Beraba, który wywarł na niego silny wpływ.
Entuzjastycznie przyjął plany Beraba o restytucji smichy, która była zawieszona przez ponad tysiąc lat. W 1538 roku w Safedzie spotkało się dwudziestu pięciu rabinów, którzy wyświęcili (smicha) rabina Beraba. Dało mu to prawo wyświęcania dowolnej liczby rabinów, w celu przywrócenia Sanhedrynu. Następnie rabin Berab udzielił smichy naczelnemu rabinowi Jerozolimy Leviemu ibn Habibowi oraz rabinom Józefowi Karo, Mojżeszowi di Trani i Józefowi Sagisowi. Proces ten został jednak zatrzymany z powodu osobistych sporów Beraba z Habibem.