W latach 1900–1904 pozostawał w rezerwie.
W czasie wojny rosyjsko-japońskiej 1904–1905, w czerwcu 1904 został nominowany na dowódcę 3. Armii (90 tys. żołnierzy), która prowadziła blokadę Portu Artura z lądu. Po przybyciu do Mandżurii na froncie zginął jego syn, który służył w 2 Armii. W czasie blokady Portu Artura zginął także jego drugi syn.
W związku z brakiem powodzenia w blokadzie Portu Artura, Nogi podał się do dymisji, ale cesarz nie wyraził na to zgody. Ze swoją armią 2 stycznia 1905 zdobył Port Artur. Za zdobycie tej twierdzy został uznany za bohatera narodowego.
Dowodząc 3 Armią, odniósł zwycięstwo w bitwie pod Mukdenem (obecnie Shenyang).
Po zakończeniu wojny osobiście zrelacjonował cesarzowi przebieg walk o Port Artur. Przy referowaniu strat rozpłakał się i prosił monarchę o przebaczenie za 56 tys. ofiar blokady twierdzy oraz o pozwolenie popełnienia samobójstwa za poniesione straty. Cesarz nie zezwolił.
Za zasługi w wojnie 1904–1905 otrzymał tytuł hrabiego i Order Wschodzącego Słońca I klasy oraz został członkiem Wyższej Rady Wojennej przy cesarzu i honorowym prezydentem szkoły dla dzieci arystokracji. Był wychowawcą przyszłego cesarza Hirohito.