Na tym stanowisku aktywnie prowadził politykę likwidacji autonomii Ukrainy, ograniczając władzę hetmańską dla zintegrowania tych ziem z resztą imperium i w 1783 wprowadzając tzw. podatek od duszy.
Gdy w 1768 wybuchła wojna rosyjsko-turecka, Rumiancew stanął na czele 2 Armii; w 1769 był dowódcą ekspedycji, której celem było zdobycie twierdzy Azow. Od sierpnia 1769 był dowódcą 1 Armii. W lecie 1770 odniósł nad Turkami i Tatarami dwa znakomite zwycięstwa nad Largą i nad Kagułem, po których przeprawił się przez Dunaj i wkroczył na Wołoszczyznę, rozbijając przeważające siły tureckie. Sukcesy te przyniosły mu w 1774 stopień feldmarszałka, a w 1775 honorowy przydomek do nazwiska – „Zadunajski”. Gdy jego wojska dotarły do Szumenu, nowy sułtan Abdülhamid I zaproponował zawarcie pokoju, który podpisano 21 lipca we wsi Küczük Kajnardży.
Uznawany był wtedy za najsławniejszego wodza rosyjskiego. Inni dowódcy (zwłaszcza Grigorij Potiomkin) zazdrośnie usiłowali odsunąć go od dowodzenia i wykazania militarnych zdolności. Podczas kolejnej wojny z Turcją Rumiancew dowodzący 2 Armią wszedł w konflikt z głównodowodzącym G.A. Potiomkinem, posądzając go o celowe ograniczanie dostaw dla jego armii.