Minister W 1830 r. został Głównym Sekretarzem Irlandii w wigowskim rządzie lorda Greya. W 1831 r. został członkiem ścisłego gabinetu. Odpowiadał za wprowadzenie w 1831 r. Irish Education Act. W 1833 r. objął stanowisko ministra wojny i kolonii, na którym rozpoczął działania zmierzające do likwidacji niewolnictwa w Imperium Brytyjskim. W 1834 r., kiedy rząd zaproponował likwidację Kościoła Irlandii, opuścił zarówno gabinet, jak i partię wigów. Po wystąpieniu z gabinetu założył własne stronnictwo, mieszczące się politycznie pomiędzy wigami a Partią Konserwatywną. Z biegiem czasu zaczął zbliżać się do torysów i wstąpił do ich stronnictwa w 1837 r. W 1841 r. wszedł w skład konserwatywnego gabinetu Roberta Peela, gdzie ponownie objął tekę ministra wojny i kolonii.