Jego pierwszy kontakt z instrumentem muzycznym był dziełem przypadku i miał miejsce w nieprzyjemnych okolicznościach. Pięcioletni Jo uległ poparzeniom całego ciała i ojciec, chcąc sprawić przyjemność pozostającemu w łóżku synowi, kupił mu ukulele. Kiedy stan zdrowia chłopca się poprawił, ciotka zabrała go do cyrku braci Ringling (istniejącego do dzisiaj). Jo niemal „skamieniał”, słysząc donośny dźwięk bębna, na którym grał August Helmecke, były członek orkiestry Johna Sousy. Bęben basowy trafił mnie w żołądek i już nigdy nie pozbyłem się tego odczucia. To była moja indoktrynacja muzyczna. Wkrótce po wizycie w cyrku ciotka kupiła mu werbel. Jo uczył się grać na nim, chodząc po ulicach, a za swoje popisy na ogół otrzymywał od przechodniów słodycze.
Kiedy Jo miał 10 lat, jego ojciec zginął w wypadku na barce. Mająca kłopoty z utrzymaniem rodziny matka, była zmuszona umieścić syna w szkole dla sierot, w której Jo pobierał swoje pierwsze lekcje muzyki. Później uczył się w gimnazjum w Birmingham i szkole rolniczej w pobliżu Huntsville. Na prowadzonych w nich zajęciach dodatkowych nauczył się grać na trąbce, saksofonie i fortepianie. Nie sądziłem, że zostanę perkusistą, ale ćwicząc na tych wszystkich instrumentach, zawsze grałem na nich tak, jakby to były bębny.