Śmierć Pareta była wstrząsem dla Griffitha, który odtąd nigdy nie starał się znokautować rywala. W 1963 stracił tytuł na rzecz Luisa Rodrígueza, ale odzyskał go trzy miesiące później. Wielokrotnie bronił potem mistrzostwa wagi półśredniej, aż w 1966 musiał z niego zrezygnować, bo zdobył tytuł w wadze średniej po wygranej z Dickiem Tigerem. W obronie tego tytułu wygrał dwa razy z Joey Archerem, lecz w kwietniu 1967 przegrał z Nino Benvenutim. Pokonał Benvenutiego w rewanżu we wrześniu tego samego roku, ale ponownie z nim przegrał w marcu 1968, tym razem tracąc ostatecznie pas mistrzowski.
Griffith walczył później jeszcze cztery razy o mistrzostwo świata, ale bezskutecznie. W 1969 w wadze półśredniej pokonał go José Nápoles, w wadze średniej Carlos Monzón wygrał z nim w 1971 i w 1973, a w wadze junior średniej Eckhard Dagge w 1976.
Griffith stoczył 112 walk zawodowych, z których przegrał 24, a zremisował 2. W 1990 został wprowadzony do International Boxing Hall of Fame.
Był osobą homoseksualną.