25 października 1960 National Boxing Association pozbawiła Moore’a tytułu mistrza świata za brak walki w jego obronie przez ponad rok. Ciągle był jednak uważany za mistrza przez New York State Athletic Commission (NYSAC) i pomniejsze organizacje. 29 października tego roku niepodziewanie przegrał na punkty z Giulio Rinaldim. W walce między tymi zawodnikami o tytuł mistrza świata uznawany przez NYSAC 10 czerwca 1961 w Madison Square Garden w Nowym Jorku Moore był jednak górą i zwyciężył na punkty. 21 października tego pokonał Pete’a Rademachera przez TKO w 6. rundzie.

W lutym 1962 NYSAC i inne komisje bokserskie wycofały uznanie dla Moore’a jako mistrza świata. Swych ostatnich kilka walk stoczył on w wadze ciężkiej. 28 maja tego roku zremisował z Williem Pastrano, a 15 listopada 1962 zmierzył się z Cassiusem Clayem, lepiej znanym pod późniejszym nazwiskiem Muhammad Ali. Młodszy o 27 lat Clay wygrał przez TKO w 4. rundzie. Później Moore stoczył tylko jedną walkę, wygrywając 15 marca 1963 przez TKO w 3. rundzie z Mikiem DiBiase, znanym bardziej jako wrestler.

Archie Moore zyskał przez wiele lat ogromną popularność. Już w trakcie kariery bokserskiej pojawiał się w filmach (zagrał zbiegłego niewolnika Jima w filmowej adaptacji z 1960 książki Przygody Hucka Marka Twaina). Później wystąpił m.in.