Po powrocie konserwatystów do władzy w 1979 r. został ministrem stanu w departamencie służby cywilnej. W 1980 r. został członkiem Tajnej Rady. W 1981 r. został ministrem ds. sztuki. Po wyborach 1983 r. został ministrem stanu ds. handlu w departamencie handlu i przemysłu. W 1986 r. został członkiem gabinetu jako minister handlu i przemysłu. W 1987 r. objął stanowisko ministra transportu. Stanowisko to sprawował do 1989 r. Później nie objął już żadnego stanowiska rządowego i do końca zasiadał w tylnych ławach parlamentu. Był przewodniczącym parlamentarnej komisji finansów i służb oraz komisji transportu.
W 1997 r. zrezygnował z ubiegania się mandat na kolejną kadencję. Został kreowany parem dożywotnim jako baron Kelvedon i zasiadł w Izbie Lordów. Pod koniec życia cierpiał na chorobę Alzheimera. Zmarł w swoim domu w Brentwood w hrabstwie Essex w styczniu 2007 r.
Od 1959 r. był żonaty z Ingrid Guinnes (z domu Wyndham). Miał z nią troje dzieci: Henry’ego, Georgię i Olivię (która zmarła w 1986 r. z powodu przedawkowania narkotyków).
Linki zewnętrzne Nekrolog Paula Channona