Jego pierwszym urzędem była funkcja Lorda Bedchambera króla Jerzego III, którą objął w 1760 r., ale rychło zrezygnował z powodu swoich kłótni z królem. W 1763 r. został Lordem Namiestnikiem Susseksu. W 1765 r. Richmond został mianowany nadzwyczajnym ambasadorem Wielkiej Brytanii w Paryżu. Kiedy wyjeżdżał do Francji, wszystkie gazety donosiły, że książę przeszedł na katolicyzm i przemawiał we francuskim parlamencie. Tak naprawdę książę przebywał głównie w Aubigny, gdzie spędzał czas ze swoją francuską kochanką.
Na kontynencie przebywał przez rok. Po powrocie do Anglii objął stanowisko ministra południowego departamentu w rządzie lorda Rickinghama. Urząd ten sprawował kilka miesięcy i zrezygnował, gdy nowym premierem został lord Chatham.
W debatach dotyczących rewolucji amerykańskiej Richmond był jednym z czołowych polityków, popierających działania kolonistów. W swoim przemówieniu w 1775 r. stwierdził, że moralna racja w tym konflikcie leży po stronie kolonistów. W 1778 r. zainicjował debatę na temat wycofania brytyjskich wojsk z Ameryki Północnej. Podobnie sprzeciwiał się polityce władz brytyjskich wobec Irlandii, dążąc to tego, aby jej unia z Wielką Brytanią była „unią serc”. W 1780 r.