W wieku 13 lat Jo jeździł już w trasy z artystami wodewilowymi, występując na festynach, w cyrkach i przedstawieniach muzycznych. Grał na bębnach i instrumentach dętych, stepował i śpiewał. Kiedy dowiedział się, że perkusista jest najlepiej zarabiającym członkiem trupy, z którą wówczas występował, porzucił inne instrumenty i skupił się wyłącznie na grze na perkusji. Dzięki wrodzonemu talentowi bardzo szybko stał się nieprzeciętnym instrumentalistą, znajdując (w drugiej połowie lat 20.) zatrudnienie w takich orkiestrach jak The Dixie Ramblers, The Blue Devils (prowadzonej przez kontrabasistę Waltera Page’a) i The Bennie Moten Ensemble.
W 1931 dokonał swoich pierwszych nagrań, grając z Lloyd Hunter’s Serenaders oraz zespołem wokalistki bluesowej, Victorii Spivey. W lutym 1934 znalazł się w Kansas City, gdzie spotkał kolegów z rozwiązanych nieco wcześniej orkiestr Page’a i Motena. Jeden z nich, pianista Bill Basie, zaprosił do współpracy najzdolniejszych młodych muzyków z obu zespołów, dając w ten sposób początek jednemu z najlepszych big-bandów w dziejach jazzu, znanemu później jako Count Basie Orchestra. Jones grał w orkiestrze i mniejszych zespołach Basiego do 1948, ustalając swoją pozycję czołowego perkusisty ery swingu.