W 1949 Williams pokonał w towarzyskiej walce przyszłego mistrza świata wagi półśredniej Johnny'ego Brattona (była to ich druga walka) oraz dwukrotnie został pokonany przez Kida Gavilana, a w obronie tytułu wygrał po raz trzeci z Bolanosem (21 lipca w Los Angeles przez TKO w 4. rundzie) i z Freddiem Dawsonem (5 grudnia w Filadelfii na punkty; był to już czwarty pojedynek tych pięściarzy, w poprzednich dwukrotnie wygrał Williams, a raz orzeczono remis). W 1950 nie walczył w obronie tytułu, a w walkach towarzyskich pokonał m.in. Brattona i wygrał oraz przegrał z Joe Micelim.
W 1951 ponownie przegrał z Micelim i pokonał Beau Jacka, a 25 maja w Madison Square Garden zmierzył się w obronie tytułu z Jimmym Carterem. Carter zwyciężył przez techniczny nokaut w 14. rundzie i został nowym mistrzem świata.
Williams nie walczył więcej o tytuł mistrza świata, kontynuował jednak karierę bokserską. W 1952 uległ Carmenowi Basilio. W 1955 stoczył tylko dwie walki, obie ze swym dawnym rywalem Beau Jackiem. Pierwsza zakończyła się remisem, a w drugiej wygrał Williams. Po niej zakończył karierę.