W drugiej połowie lat 60. współpracował z big-bandem Thada Jonesa i Mela Lewisa, czego efektem był m.in. album Presenting Joe Williams and Thad Jones - Mel Lewis the Jazz Orchestra. W owym czasie występował ponadto z takimi muzykami jak Ben Webster, Clark Terry, Kenny Burrell, Oliver Nelson, Urbie Green i Phil Woods. Regularnie pojawiał się w popularnych programach telewizyjnych Mike’a Douglasa, Merva Griffina, Steve’a Allena i Johnny’ego Carsona. W 1969 zagrał rolę aktorską w filmie Bitwa o whisky.
W latach 70. intensywnie koncertował w klubach, podczas licznych tournées i na festiwalach jazzowych. Występował zarówno w Stanach Zjednoczonych, jak i innych krajach na całym świecie. Dużo także nagrywał, m.in. z pianistą George’em Shearingiem, swoim długoletnim przyjacielem, oraz saksofonistą Julianem „Cannonballem” Adderleyem. Występował także w opartym na legendzie o czarnym siłaczu – Johnie Henrym, musicalu folklorystycznym Adderleya, Big Man, który w wersji płytowej ukazał się w 1975. Williams był jego współkompozytorem.