W 1795 r. mianowany gubernatorem Wilna. 6 lutego 1798 r. awansowany do stopnia generała lejtnanta. W 1799 zwolniony z armii przez cara Pawła I. Po roku został jednak przywrócony do stopni i funkcji. 6 grudnia 1800 r. mianowany szefem pułku kirasjerów lejbgwardii. Z okazji wstąpienia na tron Aleksandra I mianowany generałem kawalerii i wyznaczony na szefa kawaleryjskiej inspekcji dniestrowskiej, a od 8 lutego 1802 r. inflanckiej. Od 26 stycznia 1803 r. pełnił obowiązki wojskowego gubernatora Kijowa.
W 1804 r., wobec ochłodzenia stosunków z Turcją, Tormasow zajmował się formowaniem nad Dniestrem nowej armii. Został wówczas odznaczony Orderem św. Aleksandra Newskiego. Po pokoju w Tylży Tormasow poprosił o dymisję, uzasadniając to złym stanem zdrowia i trudami 35-letniej służby. 11 grudnia 1807 r. car przychylił się do jego prośby, pozostawiając mu jednak pełną pensję i prawo do noszenia munduru. Pełnił w tym czasie służbę cywilną jako gubernator w Kijowie, a potem w Rydze. Wrócił do służby w 1808 r. i został mianowany głównodowodzącym wojskami rosyjskimi w Gruzji. Wykazał tam duży talent dyplomatyczny, umiejętnie rozgrywając różnice pomiędzy narodami i plemionami kaukaskimi, dzięki czemu udało mu się uniknąć większych walk.