Jazzem, a szczególnie potężnym brzmieniem puzonu, zachwycił się, kiedy siostra zakonna z sierocińca zabrała go na koncert zespołu Illinois Jacqueta, w którym grał na nim J.J. Johnson. Ponadto chodził do Cass Technical High School razem z późniejszymi jazzmanami Paulem Chambersem i Donaldem Byrdem. Nieco wcześniej jej uczniami byli także Tommy Flanagan, Thad Jones i Milt Jackson. W szkole, pragnąc grać w orkiestrze, wybrał saksofon, lecz akurat wtedy nie było w dyspozycji wolnego instrumentem. Sięgnął więc po puzon, któremu pozostał wierny do końca życia. Miał wówczas szesnaście lat. Inspirował się także grą Franka Rosolino, tak jak on absolwenta Cass Technical High School, który niedługo później został jego nauczycielem.
W 1953 został powołany do wojska. Początkowo otrzymał przydział do korpusu pancernego, ale przeniesiono go do 36th Army Band, jednej z ostatnich afroamerykańskich orkiestr wojskowych. Grał w niej z przyszłymi gwiazdami jazzu – Julianem (był bandliderem) i Natem Adderleyami, oraz Paulem Chambersem. Natomiast Junior Mance był ponadto pisarzem kompanijnym. W 1956 po wyjściu z wojska powrócił do Detroit i podjął studia muzyczne na Wayne State University. Mieszkał w jednym pokoju z Joe Hendersonem. W tym czasie występował z kwintetem Yusefa Lateefa. W 1957 wyjechał z nim do Nowego Jorku.