W 1954 nagrał dwie udane płyty dla wytwórni Storyville, której właścicielem był także Wein. W połowie października tego samego roku, miesiąc po zakończeniu drugiej sesji nagraniowej w Storyville, nie mając pieniędzy i nie mogąc zdobyć heroiny, dobrowolnie zgłosił się do programu odwykowego w szpitalu stanowym Bridgewater. W lutym 1953 po trzech i pół miesiącach leczenia wyszedł ze szpitala, uwolniony od narkotyków.
W 1956 wyjechał do Los Angeles, gdzie nagrał swój najlepszy album, pt. Blue Serge. W składzie jego kwartetu znajdowali się także: pianista Sonny Clark, kontrabasista Leroy Vinnegar i perkusista Philly Joe Jones. Pozostał na Zachodnim Wybrzeżu, gdzie kontynuował pracę, występując m.in. w klubie Starlite w Hollywood. W maju 1956, podczas gry w golfa, doznał silnych bólów pleców i brzucha, które uniemożliwiły mu chodzenie. Następnie przewieziono go samolotem do Bostonu. W szpitalu Massachusetts General (MGH) zdiagnozowano u niego nowotwór kręgosłupa. Mimo przebytej operacji oraz rozszerzonej, intensywnej i wyczerpującej terapii radiologicznej, jego stan uległ tylko niewielkiej poprawie i wkrótce pojawiły się przerzuty rakaVladimir Simosko, Serge Chaloff – A Musical Biography and Discography, wyd. Scarecrow Press, 1998.