W 1947 odszedł z orkiestry i założył małą grupę, z którą nagrał kilka przebojowych utworów: Dutch Kitchen Bounce, Big Red’s Dreams i When I Grow Too Old to Dream. Niestety w 1948 musiał rozwiązać zespół z powodu konieczności poddania się operacji kręgosłupa. Cierpiał na chorobę Potta. Po długotrwałej, zakończonej w 1950 rekonwalescencji sformował nowy zespół i w 1951 powrócił na trasę koncertową. W 1956 spotkało go kolejne nieszczęście. Uległ poważnemu wypadkowi samochodowemu, w którym doznał zmiażdżenia nóg. Odtąd do końca życia poruszał się wyłącznie za pomocą kul. Mimo zastrzeżeń lekarzy, już rok po kraksie jeździł z koncertami po całych Stanach Zjednoczonych. Powrócił też do studia nagraniowego. W 1959 osiadł na stałe w rodzinnym Houston ze względu na niesłużący jego zdrowiu chłodny klimat stanu New Jersey, gdzie od dawna mieszkał. W latach 60. prowadził klub Ebony oraz organizował zespoły towarzyszące na tournées po Teksasie dla wielu wykonawców m.in. takich jak Sammy Davis jr, Sarah Vaughan, Ella Fitzgerald i Ray Charles. Sam też występował, ale tylko w Teksasie. Choć nadal musiał pojawiać się w szpitalu, nie zaprzestał aktywnego życia zawodowego. Od 1975 pod opieką córki jako osobistej menadżerki znów zaczął jeździć z koncertami po całym kraju. Wyjeżdżał również za granicę – do Europy i Japonii.