thumb|Tony Benn podczas antywojennej demonstracji w Londynie w 2005 roku Jeszcze jako minister Benn zbliżył się do lewego skrzydła Partii Pracy. Na pierwszej powyborczej konferencji Partii Pracy w 1980 roku postulował wystąpienie Wielkiej Brytanii z EWG oraz likwidację Izby Lordów. W 1981 roku wystartował w wyborach na wiceprzewodniczącego partii, ale minimalnie przegrał z dotychczasowym wiceprzewodniczącym Denisem Healeyem. W 1982 roku sprzeciwił się wysłaniu wojsk brytyjskich na Falklandy, postulując rozwiązanie konfliktu na forum ONZ.
W 1983 roku zlikwidowano okręg wyborczy Benna, który zamierzał wystartować w okręgu Bristol South, ale w wewnątrzpartyjnych prawyborach przegrał z dotychczasowym deputowanym Michaelem Cocksem. Po odrzuceniu propozycji startu w okręgu Livingston wystartował w okręgu Bristol East, ale przegrał tam z kandydatem konserwatystów Jonathanem Sayeedem. Benn powrócił do Izby Gmin już w 1984 roku, wygrywając wybory uzupełniające w okręgu Chesterfield.