W tym okresie i już w Nowym Jorku koncertował także i nagrywał z zespołem swojego przyjaciela, Lestera Younga oraz m.in. z Bennym Goodmanem i Billie Holiday. Ponadto zagrał w nominowanym do Oscara, krótkometrażowym filmie dokumentalnym, Jammin’ the Blues. W latach 1944–1946 odbył też służbę wojskową, którą zakończył w stopniu podporucznika piechoty U.S. Army.
Po odejściu z orkiestry Basiego Jones przez następne 10 lat był stałym członkiem grupy All Stars Normana Granza, koncertującej na całym świecie w ramach Jazz at the Philharmonic. Notabene, sam Basie i jego najsłynniejsi soliści również uczestniczyli w tym przedsięwzięciu. W przerwach między tournées regularnie występował z małymi zespołami w West End Café na Broadwayu. Jego gra przyciągała do klubu perkusistów, których liczne grono stanowili m.in. Max Roach i Roy Haynes. Dla części publiczności Jones stanowił również atrakcję pozamuzyczną. Był bowiem impulsywny i nie stronił od awantur, których powodem często były zaczepki ze strony niezbyt trzeźwych gości klubu.