Po śmierci w 1546 roku rabina Beraba, Józef Karo został jego następcą, i wraz z rabinem Mojżeszem di Trani kierował sądem rabinicznym w Safedzie. W owym czasie sąd rabiniczny w Safedzie był najważniejszy dla społeczności żydowskiej w całej Palestynie, a nawet dla diaspory. Tak więc, nie było spraw żydowskich o znaczeniu lokalnym lub globalnym, które by mogły ujść uwagi rabina Karo. Orzeczenia sądu w Safedzie były powszechnie akceptowane jako ostateczne i wiążące, a halachiczne decyzje i wyjaśnienia Karo były uważnie analizowane przez rabinów w każdym zakątku diaspory. Karo jako jedyny odważył się udzielić smichy rabinowi Mojżeszowi Alszechowi, który następnie około 1590 roku udzielił smichy rabinowi Chaimowi Vitalowi. Karo założył także jesziwę w Safedzie, w której nauczał Talmudu ponad 200 studentów. Jednym z jego uczniów był Mojżesz Kordowero. Na starość, w wieku około 80. lat, Karo ożenił się po raz czwarty. Zmarł 24 marca 1575 roku (13 nisan 5335 r.) w Safedzie i został pochowany na starym cmentarzu.