W 1949 pianista George Shearing usłyszał go w klubie Birdland, grającego w big-bandzie Buddy’ego Richa. Zaproponował mu z pozytywnym skutkiem przejście do swojego kwintetu, w którego składzie znajdował się wówczas sławny klarnecista Buddy DeFranco. Z upływem czasu i wzrostem liczby koncertów zagranych na tournées, zaczął przejmować w zespole Shearinga obowiązki menadżera trasy. W rezultacie w 1951 zrezygnował z grania i objął w pełnym zakresie funkcję menadżera grupy. W ten sposób otworzył nowy rozdział w historii amerykańskiego showbiznesu i rozpoczął karierę zawodową, która była jego udziałem przez następne pół wieku. Jako menadżer osobisty zarobił dla swoich klientów miliony dolarów, a wielu z nich doprowadził od anonimowości do globalnego sukcesu. W ramach firmy The John Levy Enterprises zajmował się ponad osiemdziesięcioma pięcioma artystami m.in. takimi, jak saksofoniści Stanley Turrentine oraz Nat i Cannonball Adderleyowie, wokaliści Joe Williams, Betty Carter, Roberta Flack, Abbey Lincoln, Carol Sloane, Dakota Staton, Les McCann, Randy Crawford i Nancy Wilson, pianiści Herbie Hancock, Shirley Horn, Ahmad Jamal i Ramsey Lewis, trębacz Freddie Hubbard, flecista Herbie Mann oraz gitarzysta Wes Montgomery.