Kiedy po rezygnacji Newcastle’a w 1756 r. nowy rząd sformował książę Devonshire, Bedford objął w nim stanowisko Lorda Namiestnika Irlandii (3 stycznia 1757). Pozostał na tym stanowisku, kiedy kilka miesięcy później premierem został ponownie Newcastle. Jako wicekról Irlandii popierał liberalizację prawa przeciwko katolikom, ale nie zdołał zachować neutralności wobec rywalizujących partii politycznych. W marcu 1761 r. zrezygnował ze stanowiska i został lordem tajnej pieczęci.
Bedford krytykował ekspansywną politykę Williama Pitta Starszego wobec Francji, obawiając się, że podbój francuskich kolonii w Ameryce Północnej zachwieje wiernością angielskich kolonii w tym rejonie. Kiedy premierem został w 1762 r. zwolennik pokoju lord Bute, Bedford został wysłany z misją do Paryża w celu przeprowadzenia negocjacji pokojowych. Pokój został podpisany w lutym 1763 r. Wkrótce zrezygnował ze stanowiska Lorda Tajnej Pieczęci i został Lordem Przewodniczącym Rady, pozostając na tym stanowisku po objęciu stanowiska premiera przez George’a Grenville’a.