lord Holland wszedł w skład Tajnej Rady, zaś 15 października tego samego roku został Lordem Tajnej Pieczęci w rządzie lorda Grenville’a, na którym to stanowisku utrzymał się do rozpadu gabinetu w marcu 1807 r.
W następnych latach Holland był jednym z największych przeciwników rządu. Sprzeciwiał się przyznaniu ksieciu Walii regencji w 1811 r., krytykował traktat Wielkiej Brytanii ze Szwecją, który zobowiązywał Wielką Brytanię do poparcia szwedzkich planów przyłączenia Norwegii oraz był przeciwnikiem zesłania Napoleona na Wyspę Świętej Heleny. Do gabinetu wrócił dopiero w 1830 r., kiedy to lord Grey powierzył mu stanowisko Kanclerza Księstwa Lancaster. Sprawował je do 1834 r. Rok później zajął to samo stanowisko w rządzie lorda Melbourne'a. Zmarł podczas sprawowania urzędu.
Jego protesty przeciwko polityce torysowskich gabinetów zostały wydane w 1841 r. pt. Opinions of Lord Holland. W 1850 r. wydano Lord Holland's Foreign Reminiscences opisujące sytuację w Europie w dobie Rewolucji i wojen napoleońskich. W 1852 r. wydano jego wspomnienia