W 1920 przeprowadził się z rodzicami do Saint Louis. Niedługo później zadebiutował zawodowo w miejscowej orkiestrze hotelu Coronado, którą kierował Herbert Berger. Ze względu na drobną budowę ciała otrzymał wtedy przydomek „Pee Wee”. Po wyjeździe do Teksasu grał w zespole Bad Boys, prowadzonym przez pianistę Pecka Kelley’ego. Poznał w nim puzonistę Jacka Teagardena, późniejszego koryfeusza jazzu. Wróciwszy do St Louis, występował w The Arcadia Ballroom z białymi pionierami jazzu – kornecistą Bixem Beiderbeckem, saksofonistą Frankiem Trumbauerem oraz Teagardenem. W 1927 przeniósł się do Nowego Jorku. Dwa lata później dokonał swoich pierwszych nagrań jako członek zespołu The Five Pennies kornecisty Reda Nicholsa. Od początku lat 30. intensywnie pracował jako sideman w studiach nagraniowych, grając nie tylko na klarnecie, ale także na saksofonach – sopranowym, altowym i tenorowym, oraz klarnecie basowym. Szereg utworów zarejestrował razem z saksofonistą Colemanem Hawkinsem. W 1932 został zaproszony do supergrupy nagraniowej The Rhythmmakers, w której grali m.in. trębacz „Red” Allen i gitarzysta Eddie Condon, z którym potem współpracował z przerwami niemal przez trzydzieści lat. Dzięki ich ówczesnym, wspólnym nagraniom stał się gwiazdorem w światku jazzu chicagowskiego. Od 1935 do 1937 grał w orkiestrze Louisa Primy.