pisał do ministra wojny i kolonii, lorda Bathursta, że jest gotów pozostać w Irlandii, dopóki nic nie zostanie postawione dla dobra katolików. Pomimo swych sztywnych poglądów politycznych i religijnych, książę uwielbiał sport, zwłaszcza jazdę konną, polowanie i krykiet (był założycielem Marylebone Cricket Club, w którym sam występował jako odbijający i wicket-keeper w meczach pierwszej klasy). Jego hojność wobec ubogich zjednała mu pewną sympatię w Irlandii.
Jego kadencja jako lorda namiestnika dobiegła końca w 1813 r. Rok później, z powodów ekonomicznych, zamknął swoją rodową posiadłość w Goodwood i, wraz z rodziną, przeprowadził się do Brukseli. Tam, 15 czerwca 1815 r., księżna Richmond wydała słynny bal, na którym książę Wellington dowiedział się o wkroczeniu Napoleona Bonapartego do Holandii. Richmond był obecny na polu bitwy pod Waterloo, ale tylko w charakterze cywilnego obserwatora. Rodzina książęca pozostawała w Brukseli do 1818 r. 8 maja tego roku książę dowiedział się, że został mianowany gubernatorem generalnym Brytyjskiej Ameryki Północnej. Mimo iż nominacja była dlań zaskoczeniem, książę przyjął powierzoną mu funkcję.