Po zakończeniu pod koniec 1945 pracy u Raeburna grał w orkiestrach Georgiego Aulda i Tommy’ego Dorseya, w której zyskał miano „pierwszego solisty bebopowego w kategorii saksofonu barytonowego”. W 1946 występował w mniejszych zespołach: trębaczy Sonny’ego Bermana i Reda Rodneya, puzonisty Billa Harrisa i pianisty Ralpha Burnsa. Następnie założył The Serge Chaloff Sextet, z którym w wytwórni Savoy nagrał cztery utwory. Trzy z nich sam skomponował i zaaranżował.
W 1947 został członkiem big-bandu The Second Herd Woody’ego Hermana. Orkiestra była nazywana również The Four Brothers Band, za sprawą sekcji saksofonowej – Serge Chaloff, Stan Getz, Zoot Sims, Herbie Steward, a wkrótce Al Cohn – wykonującej utwór Jimmy’ego Giuffrego The Four Brothers oraz nagrywającej na własne konto. Był czołowym solistą The Second Herd zarówno na scenie, jak płytach.