Sweet as Apple Cider stał się wielkim przebojem, który sprzedał się w ponad milionowym nakładzie. W tym okresie oraz latach późniejszych nagrywał także dla wytwórni: Edison, Victor, Bluebird, Variety i OKeh. Podczas całej kariery dokonał ponad czterech tysięcy nagrań.
Po nadejściu wielkiego kryzysu dzięki koncertom początkowo nie miał kłopotów z pracą. Wkrótce jednak występy niemal ustały, ale przede wszystkim w 1932 przestał nagrywać. Później pracował w orkiestrach teatralnych, akompaniujących różnym przedstawieniom, oraz prowadził własny zespół, grający muzykę bliską swingowej. Na krótko wyjechał do Kalifornii, gdzie prowadził orkiestrę w ogólnokrajowym programie radiowym aktora Boba Hope’a. W tym czasie ożenił się z Willą Inez Stutsman, tancerką występującą na Broadwayu w rewii Scandals George’a White’a. Urodziła mu się córka, która w 1942 zachorowała na chorobę Heinego-Medina, pierwotnie błędnie rozpoznaną jako zapalenie opon mózgowo-rdzeniowych. Wtedy wraz żoną i córką przeniósł się do Kalifornii, do San Leandro, gdzie mieszkała rodzina Willi. Obie pozostały w Kalifornii do czasu całkowitego wyleczenia córki. On tymczasem na dwa lata porzucił muzykę, podejmując pracę w stoczni U.S. Navy. Wówczas już toczyła się II wojna światowa.