Joachim jest uważany za jednego z najwybitniejszych skrzypków w historii wiolinistyki. Grywał najchętniej na instrumencie Antonio Stradivariego z 1714. Od 1868 był profesorem Akademii Muzycznej w Berlinie. Założył Joachim-Quartett, słynący z doskonałego wykonawstwa m.in. ostatnich kwartetów Beethovena. Wykształcił wielu wybitnych skrzypków (wśród nich Bronisława Hubermana), jest autorem podręcznika Szkoła gry skrzypcowej (1902–1905). Najświetniejsi kompozytorzy dedykowali mu swoje koncerty (obok Brahmsa m.in. Antonin Dvořák czy Niels Gade). W mniejszym stopniu zajmował się dyrygenturą i kompozycją. Jego kompozycje są trudne techniczne, pod względem stylu noszą ślady wpływów Schumanna i Brahmsa. Najszerzej znanym i do dziś wykonywanym utworem jest Koncert węgierski.
Odznaczony bawarskim Orderem Maksymiliana (1897) i pruskim orderem Pour le Mérite (1899).