W 1943, mając osiemnaście lat Davis wstąpił do United States Army, gdzie nieustannie walczył z rasizmem. Po powrocie ze służby w 1945 grupa została przemianowana na Will Mastin Trio. Trzy lata później Will Mastin Trio występowało z Mickeyem Rooneyem, a na początku następnej dekady m.in. w nowojorskim klubie Capitol i Ciro’s w Hollywood. W 1952 na zaproszenie Sinatry zagrali także na nowo zintegrowanej Copacabanie, a potem w programie ABC Three for the Road—with the Will Mastin Trio (1953).
W 1954 Davis podpisał kontrakt z Deccą, zdobywając szczyty list przebojów swoim debiutanckim albumem Starring Sammy Davis Jr.. W tym samym roku stracił lewe oko w głośnym wypadku samochodowym, ale po powrocie na scenę na początku 1955 został powitany z jeszcze większym entuzjazmem niż wcześniej dzięki serii hitów, w tym „Something’s Gotta Give”, „Love Me or Leave Me” i „That Old Black Magic”. Rok później Davis zadebiutował na Broadwayu jako Charlie Welch w musicalu Mr. Wonderful (1956) z Chitą Riverą, występując w ponad 400 przedstawieniach i zapoczątkował hit piosenką „Too Close for Comfort”.