W 1935–1936 grał w swingowych big-bandach Tiny’ego Bradshawa i Lucky’ego Millinera. Nadal nie za bardzo radziłem sobie z trąbką. Obaj przyjęli mnie ze względu na mojego starszego brata, który był dobrym trębaczem-solistą, ale beze mnie nie zgodziłby się u nich grać. Pod koniec 1936 został kontraktowym członkiem The Onyx Club Boys, sekstetu kontrabasisty Johna Kirby’ego. Podał wtedy nieprawdziwą datę urodzenia (1917), żeby nie naruszyć zakazu zatrudniania dzieci. W tym czasie intensywnie pracował nad swoim warsztatem instrumentalnym. Szybko stał się wiodącym solistą sekstetu oraz aranżerem większości jego repertuaru. W znacznej mierze dzięki niemu grupa wypracowała oryginalne, precoolowe brzmienie. Cieszyła się dużym powodzeniem, zyskując miano „Największego małego zespołu w kraju” (The biggest little band in the land). Ponadto Shavers komponował – jeden z jego utworów, Undecided, stał się jazzowym standardem. Był także zapraszany do wspólnych nagrań przez innych liderów takich jak pionierzy jazzu nowoorleańskiego – Jimmie Noone, Johnny Dodds i Sidney Bechet oraz wokalista i bandliderka – Midge Williams.