był stałym solistą orkiestry Andy’ego Kirka, The Clouds of Joy, i z nią dokonał swoich pierwszych nagrań. Następnie – w latach 1951–1953 – wiele nagrywał z orkiestrą perkusisty, Theodore’a „Reda” Saundersa.
W tym czasie znany chicagowski disc jockey, Daddy-O Daily, załatwił Williamsowi kilka występów z orkiestrą giganta jazzu, Counta Basiego. Fakt ten jednak nie miał wpływu na ówczesną karierę wokalisty. Jej przyspieszenie nastąpiło dopiero w 1954, kiedy Basie zaproponował Williamsowi stały kontrakt.
Nowy Jork Williams, przeprowadziwszy się do Nowego Jorku, nieprzerwanie pracował z Basie’em aż do 1961. Krajowe tournées były przeplatane stacjonarnymi, niekiedy długotrwałymi, występami w amerykańskich metropoliach. Bywało, że „Basie Machine” występowała w jednym klubie nawet przez miesiąc. W 1955 ukazał się pierwszy album firmowany nazwiskiem Williamsa: Count Basie Swings, Joe Williams Sings, na którym znalazły się m.in. bluesy Memphisa Slima. Jednym z nich był utwór (obecnie standard) Every Day (I Have the Blues), który w wykonaniu Williamsa trafił na czołowe miejsca list przebojów muzyki R&B. Nagrania wokalisty z Basie’em doskonale się sprzedawały i były nadawane przez największe rozgłośnie radiowe w Stanach Zjednoczonych. Również w 1955 Williams został wyróżniony przez prestiżowy tygodnik „Down Beat”.