Po mistrzostwach Europy, kiedy Romancew powrócił do Spartaka, ponownie był jego asystentem w tym klubie.
W 1998 rozpoczął samodzielną pracę szkoleniową w Dynamie Moskwa, który doprowadził do finału krajowego pucharu. Później był trenerem Rotoru Wołgograd i drużyny oldbojów Spartaka Moskwa.
W sierpniu 2003 w połowie eliminacji do Euro 2004 do dymisji podał się selekcjoner reprezentacji Rosji Walerij Gazzajew. Wielu szkoleniowców odmówiło wówczas przejęcia sterów kadry i nowym trenerem kadry został nieoczekiwanie Jarcew. Nowy opiekun drużyny narodowej zerwał ze strategią poprzednika, który próbował odmłodzić kadrę. Wysłał powołania do pomijanych Dmitrija Aleniczewa, Jegora Titowa oraz weteranów Aleksandra Mostowoja i pozostającego bez przynależności klubowej Wiktora Onopki. Rosjanom udało się nadrobić stracone punktu i awansować do barażów, w których w dwumeczu pokonali Walię. Na mistrzostwach reprezentacja grała mniej skutecznie. Mimo iż zwyciężyła przyszłych mistrzów Europy Greków, to – po porażkach w pierwszych meczach z Hiszpanią i Portugalią – zajęła w grupie ostatnie miejsce. W dodatku selekcjoner pokłócił się z liderem drużyny Mostowojem, który musiał wrócić do domu. Jarcew jednak nie został zdymisjonowany. Otrzymał wymówienie dopiero w marcu 2005 po remisie 1:1 z Estonią w eliminacjach do Mundialu 2006.