Calloway powrócił na krótko do Chicago, gdzie występował w musicalu Connie's Hot Chocolates. Wkrótce, za namową menedżera Irvinga Millsa, zorganizował nowy zespół i powrócił do Nowego Jorku. Początkowo występował na scenach Harlemu, od 1929 znalazł zatrudnienie w "Cotton Club", śpiewając także w orkiestrze Duke'a Ellingtona. Zainspirowany przez Louisa Armstronga, rozpoczął wtedy eksperymenty z wokalistyką scat, czego przykładem była jego najsłynniejsza kompozycja, Minnie the Moocher z 1931, z charakterystycznym refrenem: Hi de hi de hi de ho.
Największą popularnością Calloway cieszył się w latach 30. i 40. XX w. Poza estradą, występował również w produkcjach filmowych, m.in. komedii International House z 1933 (z przebojem Reefer Man) i musicalu Stormy Weather z 1943. Jego książka Hepster's Dictionary z 1944 sprzedana została w ponad dwu milionach egzemplarzy w sześciu wydaniach. Przez orkiestrę Callowaya przewinęło się wielu znanych muzyków: trębacz Dizzy Gillespie, saksofoniści Chu Berry, Ben Webster i Hilton Jefferson, kontrabasista Milt Hinton czy perkusista Cozy Cole. Podczas II wojny światowej big band Callowaya dawał koncerty dla żołnierzy w Stanach Zjednoczonych i Kanadzie. Po wojnie powrócił do grania w klubach nowojorskich, występował również na scenach Broadwayu, m.in.