Od 1934 przez jedenaście lat pracował w big-bandzie Duke’a Ellingtona, stając się jego gwiazdą. Występował z nim i nagrywał. Był współkompozytorem utworów Boy Meets Horn i Morning Glory, należących do stałego repertuaru zespołu. Ponadto sprawował nadzór nad osobnymi sesjami nagraniowymi członków orkiestry. W 1939 w stworzonym przez siebie kwartecie dokonał w Paryżu szeregu nagrań z gitarzystą Djangiem Reinhardtem. Po rozstaniu z Ellingtonem prowadził małe zespoły swingowe, będąc ich głównym solistą. W latach 1947–1951 należał do grupy czołowych muzyków jazzu, koncertujących w ramach Jazz at the Philharmonic. Wraz z JATP odbył kilka dużych tournées, m.in. w Europie i Australii. Ponadto w 1948 w wolnym czasie wykładał w Konserwatorium Paryskim.

Na początku lat. 50 kupił stary, wiejski dom w stanie New Jersey i tam zamieszkał. Przez niedługi czas był też właścicielem małej restauracji w pobliżu toru drag racingowego w stanie Vermont. Drugą bowiem – obok muzyki – jego pasją było gotowanie. Chciał nawet zostać wykwalifikowanym kucharzem i w tym celu podczas pobytu we Francji w latach 1948–1949 uczęszczał do szkoły kucharskiej Le Cordon Bleu. W tym czasie miał swój cykliczny program radiowy w rozgłośni w Troy oraz regularnie gościł w telewizji lokalnej. W Bostonie kierował też stale, choć nieczęsto występującą orkiestrą.