Przecież nie mogłem gonić Carneya po całym kraju – powiedział później w wywiadzie z Leonardem Featherem. Jego drugim wzorem był Jack Washington, barytonista z big-bandu Counta Basiego. Sam jednak nie naśladował gry żadnego z nich. Jego brat, Richard, mawiał, że Serge potrafił grać na barytonie tak jak na tenorze, był perfekcjonistą, miał bardzo zręczne palce i wypracował własny styl.
Od czternastego roku życia grał w Izzy Ort’s Bar & Grille, słynnym bostońskim lokalu przy Essex Street. Richard Chaloff wspominał: Nie miał pozwolenia na pracę, ale był dość wysoki, więc poszedł do Izzy’ego Orta i ten go zatrudnił na nocne granie. Izzy lubił saksofon... W niedziele nasza mama modliła się w kościele, żeby mu się nie udało. Tymczasem mój brat czternasto, piętnastolatek grał z muzykami po trzydziestce i czterdziestce, i radził sobie tak dobrze, że go nie odprawili.