Pod koniec sezonu Mario Andretti ogłosił, że odchodzi do zespołu Alfa Romeo. Pomimo że Mansell nie cieszył się sympatią jednego ze sponsorów zespołu i pojawiało się wiele spekulacji na temat przyjścia do zespołu Jean-Pierre Jariera, Chapman poinformował, że miejsce Andrettiego w sezonie 1981 zajmie Mansell.
Cztery pełne sezony spędzone w Lotusie były walką, ponieważ samochody były zawodne. Z 58 wyścigów ukończył 24. Pięć razy stanął na najniższym stopniu podium podczas czterech lat startów w Lotusie wliczając w to piąty wyścig z roku 1981, który był zarówno jego siódmym występem w karierze. Jego kolega z zespołu Elio de Angelis nieoczekiwanie wygrał Grand Prix Austrii w sezonie 1982, ale był zdecydowanie szybszy od mniej doświadczonego Mansella.
thumb|Lotus 91 w którym Mansell ścigał się w sezonie 1982
W trakcie sezonu 1982 Mansell zaplanował wystartować w wyścigu 24h Le Mans. Mansell zarabiał wówczas 50,000 funtów rocznie, a ze start w Le Mans dostałby 10,000 funtów. Chapman zapłacił Mansellowi 10,000 funtów, aby nie startował w wyścigu z powodu ryzyka. Chapman przedłużył także kontrakt z Mansellem do sezonu 1984.