W czasie ataku Napoleona na Rosję w 1812 r. Tolly dowodził 1 Armią Zachodnią, największą formacją rosyjską, która stała naprzeciw czoła francuskiego pochodu. Jako ministrowi była mu podporządkowana także 2 Armia zachodnia. W związku z przewagą wojsk francuskich z sukcesem prowadził zorganizowane wycofanie dwóch armii. Tolly zastosował wówczas prostą, ale skuteczną taktykę spalonej ziemi, zalecił także wciągnięcie nieprzyjaciela w głąb terytorium kraju. Wykonując te plany wycofał się do wioski Carowe Zajmiszcze pomiędzy Moskwą a Smoleńskiem.
Wyznaczenie Tolly’ego na stanowisko głównodowodzącego napotykało na opór rodowitych Rosjan, którzy bali się powierzyć to stanowisko „cudzoziemcowi”, konkurenci rozpowszechniali także plotki jakoby Tolly był agentem Napoleona. Car oraz podwładni Barclaya zmusili go do wydania bitwy wojskom francuskim. Bitwa pod Smoleńskiem trwała od 17 do 18 sierpnia 1812 r. i zakończyła się porażką Rosjan. Przeciwnicy Tolly’ego rozpętali wtedy wokół niego prawdziwą burzę i w końcu zmusili go do rezygnacji i do podporządkowania się nowemu głównodowodzącemu, którym został doświadczony weteran Michaił Kutuzow.