W tym czasie Joe grywał dorywczo z różnymi zespołami oraz w jam sessions z kolegami: pianistą Teddym Cohenem, kontrabasistą Chuckiem Andrusem, saksofonistą Philem Woodsem i gitarzystą Salem Salvadorem. Następnie kształcił się u zarekomendowanego przez Sefcika bostońskiego instrumentalisty i autora podręcznika gry na perkusji – George’a Lawrence’a Stone’a. Jego pomysły tak się spodobały nauczycielowi, że zawarł je w następnej pracy – Accents and Rebounds, którą dedykował uzdolnionemu uczniowi. Studia u Stone’a sprawiły, że młody muzyk zyskał renomę najlepszego perkusisty Nowej Anglii. Mimo to nadal poszerzał swój warsztat instrumentalny, pobierając w Nowym Jorku konsultacje u Billy’ego Gladstone’a, perkusisty w Radio City Music Hall oraz nauczyciela.
W Nowym Jorku zamieszkał na stałe. Początkowo miał kłopoty ze znalezieniem pracy, ale dzięki pomocy Sala Salvadora zaczął pozyskiwać angaże. W latach 1952–1953 grał z organistą Jimmym Smithem, saksofonistą Gilem Mellé oraz orkiestrą Stana Kentona. Od 1953 do 1956 współpracował z pianistką Marian McPartland, z którą związał się również uczuciowo. Występy z jej The Hickory House Trio przyniosły mu rozgłos. W tym okresie grywał także z gitarzystami Talem Farlowem i Jimmym Raneym.