W trakcie kampanii wyborczej w 2001 r. publicznie ogłosił, że Partia Konserwatywna zamierza ograniczyć wydatki budżetowe o 20 mld funtów, co przyczyniło się do dużego spadku poparcia dla jego partii. W czerwcu 2004 zapowiedział na prywatnym spotkaniu, że brytyjska publiczna służba zdrowia (NHS) „przestanie istnieć” w ciągu pięciu lat od wyborczego zwycięstwa konserwatystów. Po wyborach z 2005 roku poprosił partyjne przywództwo o przydzielenie mniej eksponowanej roli, co wiązano z jego planami powrotu do biznesu. Ostatecznie pozostał w gabinecie cieni, ale na nieco mniej ważnym stanowisku ministra środowiska, żywności i spraw wsi, a łączenia rządowych stanowisk z doradztwem dla banku inwestycyjnego zabroniło mu kierownictwo partii.
Pod koniec tego samego roku był jednym z tych prominentów Partii Konserwatywnej, którzy już na wczesnym etapie walki o stanowisko nowego lidera, po dymisji Howarda, poparli Davida Camerona. Po swoim zwycięstwie, Cameron postawił Letwina na czele zespołu mającego zrewidować dotychczasowy program partii i uczynić go bardziej atrakcyjnym dla wyborców.