W 1954 dwukrotnie skutecznie walczył w obronie pasa: najpierw po raz trzeci wygrał na punkty z Maximem 27 stycznia w Miami, a 11 sierpnia w Madison Square Garden w Nowym Jorku zmierzył się po raz piąty (ale po raz pierwszy w walce o tytuł mistrza świata) z Haroldem Johnsonem. Moore przegrywał do początku 14. rundy (w 10. rundzie był nawet na deskach), ale w przedostatniej rundzie zaatakował i zwyciężył przez techniczny nokaut. Moore pokonał również w tym roku liczącego się boksera wagi ciężkiej Boba Bakera.
Moore stoczył tylko trzy walki w 1955. Najpierw ponownie pokonał Niño Valdésa 5 maja w Las Vegas (walka ta była uznana przez stan Nevada za pojedynek o tytuł mistrza świata wagi ciężkiej), następnie obronił tytuł w wadze półciężkiej nokautując w 3. rundzie 22 czerwca w Nowym Jorku ówczesnego mistrza świata kategorii średniej Bobo Olsona, a 21 września na Yankee Stadium w Nowym Jorku spróbował odebrać tytuł mistrza świata w wadze ciężkiej Rocky’emu Marciano. Moore rozpoczął bardzo dobrze, powalając Marciano w 2. rundzie (był to drugi nokdaun w karierze Marciano), ale od 6. rundy champion przejął kontrolę, powalając Moore’a dwukrotnie w tej rundzie, raz w ósmej, a wreszcie nokautując w dziewiątej. Była to, jak się okazało, ostatnia walka Marciano, który wycofał się niepokonany.