W 2005 stoczył tylko jedną walkę w obronie swojego tytułu, wygrywając z Anthonym Mundine. W następnym roku najpierw wygrał z Érikiem Lucasem, a następnie stoczył pojedynek unifikacyjny z Marcusem Beyerem, mistrzem organizacji WBC. Kessler zakończył pojedynek nokautem już w trzeciej rundzie.
24 marca 2007 obronił swoje dwa tytuły pokonując Librado Andrade. Walka była jednostronna (według wszystkich sędziów Duńczyk nie przegrał żadnej rundy), ale mimo olbrzymiej przewagi Duńczyka Meksykanin zdołał dotrwać do końca pojedynku. 3 listopada 2007 doszło do walki unifikacyjnej WBC, WBA i WBO z Joe Calzaghe. Kessler przegrał z Walijczykiem na punkty i stracił oba mistrzowskie tytuły.
Na ring powrócił 21 czerwca 2008 roku, nokautując w dwunastej rundzie Dimitrija Sartisona. Stawką pojedynku był wakujący tytuł mistrza świata WBA. Cztery miesiące później znokautował w trzeciej rundzie Danilo Danilo Häußlera. Dla Niemca była to ostatnia walka w karierze. 12 września 2009 roku pokonał przez techniczny nokaut w czwartej rundzie Gusmyra Perdomo.