W tym samym roku został ministrem północnego departamentu w rządzie lorda Rockinghama. Po upadku tego rządu, w gabinecie Chathama, Grafton pełnił w latach 1766–1770 funkcję pierwszego lorda skarbu i przewodniczącego Izby Lordów. Choroba Chathama uczyniła Graftona zimą 1767 na 1768 r. głównym kandydatem na stanowisko premiera, które uzyskał w październiku 1768 r. Na stanowisku tym utrzymał się tylko przez 2 lata, stopniowo tracąc poparcie, do czego przyczyniły się w dużej mierze listy tajemniczego „Juniusa” (tożsamość ich autora jest wciąż przedmiotem ożywionych dyskusji, jako potencjalnych „Juniusów” wymienia się m.in. lorda Chatham, Horace’a Walpole’a i dra Samuela Johnsona), które oskarżały premiera m.in. o korupcję i zmusiły go do ustąpienia z urzędu w styczniu 1770 r.
W następnych latach Grafton nie był czynnym uczestnikiem życia politycznego Wielkiej Brytanii, aczkolwiek sprawował jeszcze ministerialne urzędy. Był m.in. dwukrotnie lordem tajnej pieczęci (1771-1775 i 1782-1783). W późniejszych latach był prominentnym unitarianinem.
Książę Grafton był ponadto kawalerem Orderu Podwiązki od 1769 r., kanclerzem Uniwersytetu Cambridge od 1768 r. oraz Lordem Namiestnikiem Suffolk w latach 1757–1763 i 1767-1790.