Kolejne dwie walki przegrał na punkty z Nigeryjczykiem Samuelem Peterem. Pierwsza odbyła się w Los Angeles 2 września 2006 i zakończyła się kontrowersyjną niejednogłośną decyzją sędziów. Druga, rewanżowa odbyła się w Hollywood 6 stycznia 2007; tym razem Toney przegrał przez jednogłośną decyzję. Obie walki były walkami eliminacyjnymi federacji WBC do starcia o pas mistrzowski, w którego posiadaniu znajdował się wówczas Oleg Maskajew.
Toney powrócił na ring w maju 2007, gdy pokonał na punkty Danny’ego Batcheldera. Po walce Toney ponownie miał pozytywny wynik kontroli antydopingowej (zażył boldenon i stanozolol), za co został ukarany grzywną 2500 dolarów oraz roczną dyskwalifikacją. Jednak CSAC uznała jego argumentację, że świadomie nie zażywał sterydów, a pozytywny wynik testów wytłumaczył manipulacjami przy butelce wody z której pił, zmniejszając okres dyskwalifikacji do 6 miesięcy. Wyniku walki jednak nie zmieniono i oficjalnym jej zwycięzcą pozostał Toney.
16 lipca 2008 doszło do rewanżu Toneya z Hasimem Rahmanem. Walka została zatrzymana w 3. rundzie, gdyż Rahaman doznał kontuzji rozcięcia łuku brwiowego. Początkowo zarządzono techniczny nokaut na rzecz Jamesa Toneya, jednak CSAC ostatecznie zweryfikowała walkę jako "no contest".