Bokserzy spotkali się ponownie sześć miesięcy później – Forrest ponownie wygrał na punkty.

25 stycznia 2003 roku, w swojej drugiej obronie mistrzowskiego pasa, przegrał przez techniczny nokaut w trzeciej rundzie z mistrzem WBA, Ricardo Mayorgą. Forrest był liczony już w pierwszej rundzie, a w rundzie trzeciej po tym, jak kolejny raz leżał na deskach, sędzia przerwał walkę. Pojedynek rewanżowy, który odbył się 12 lipca 2003 roku, zakończył się kontrowersyjnym rezultatem – zwycięstwem Mayorgi decyzją większości na punkty.

Kłopoty ze zdrowiem Forrest z powodu kontuzji przez następne dwa lata nie stoczył ani jednego pojedynku. W 2005 roku stoczył dwie zwycięskie walki, pokonując przez techniczny nokaut Sergio Riosa (w drugiej rundzie) i Elco Garcię (w rundzie dziesiątej). W następnym roku walczył tylko raz – po kontrowersyjnej decyzji sędziów pokonał byłego mistrza świata WBA w kategorii półśredniej, Ike’a Quarteya.