Natomiast następna walka, z Andrzejem Gołotą, zakończyła się kontrowersyjnym wynikiem. Po dwunastu rundach sędziowie orzekli remis, co większość obserwatorów uznała za skandal. W powszechnej opinii to Gołota powinien wygrać tę walkę. Byrd jeszcze dwukrotnie obronił tytuł mistrza świata. Najpierw niejednogłośną decyzją pokonał na punkty Jameela McCline’a, mimo że w drugiej rundzie leżał na deskach. W następnym pojedynku, także na punkty, pokonał po nieciekawej walce DaVaryla Williamsona. 22 kwietnia 2006 roku, w swojej piątej obronie mistrzowskiego pasa, po raz drugi w karierze przegrał z Wołodymyrem Kłyczką, tym razem przez techniczny nokaut w siódmej rundzie.
Równo rok po utracie tytułu mistrza świata powrócił na ring pokonując przez techniczny nokaut w siódmej rundzie Paula Marinaccio. Następnie razem z Aleksandrem Powietkinem, Eddiem Chambersem i Calvinem Brockiem wziął udział w turnieju eliminacyjnym IBF, który miał wyłonić oficjalnego kandydata do walki z mistrzem świata tej organizacji, Wołodymyrem Kłyczką.