Wystąpił także w programie telewizyjnym Arthur Godfrey and His Friends.
Debiutancki album Tonal Expressions został wydany przez wydawnictwo Cadence Records. W 1955 zdobył 14. miejsce w liście najlepiej sprzedających się albumów pop () magazynu Billboard. W latach 50. i 60. nagrał wiele albumów (dla Cadence Records), eksperymentując muzyką jazzową z klasyczną. W 1961 singel „Water Boy” osiągnął 40. pozycję w liście Hot 100 i utrzymywał się na niej przez 14 tygodni. Wystąpił w nowojorskim klubie nocnym Basin Street East, w którym Duke Ellington usłyszał go i zaczęli się przyjaźnić.
thumb|The Negro Motorist Green Book przedstawiał prace wyłącznie dla czarnoskórych kierowców w segregowanym rasowo południu. W latach 60., Shirley odbył wiele tras koncertowych, niektóre z nich na południu Stanów Zjednoczonych, mając nadzieję, że swoimi występami zmieni niektórym zdanie na swój temat. Na pierwszą trasę koncertową w 1962, zatrudnił nowojorskiego ochroniarza Tony’ego „Lip” Vallelonga jako osobistego kierowcę i bodyguarda. Ich historia została przedstawiona w filmie Green Book (2018);