Po tym fakcie książę zrezygnował z aktywnego życia politycznego. W latach 1796–1800 tylko dwukrotnie pojawił się w Izbie Lordów. Czas spędzał w swojej rezydencji, planując budowę wokół niej toru wyścigowego. W 1801 r. został kawalerem Orderu Podwiązki. 25 czerwca 1804 r. wygłosił swoje ostatnie przemówienie w Izbie Lordów.
Książę zmarł w 1806 r. nie pozostawiając po sobie potomka. Został pochowany w Katedrze w Chichesterze. Wszystkie jego tytuły odziedziczył jego bratanek, Charles, późniejszy gubernator generalny Kanady. Na cześć 3. księcia nazwane zostały miasta Richmond i Lenox w Massachusetts.
Linki zewnętrzne thepeerage.com Genealogics - Leo van de Pas Duke of Richmond @ Spartacus
Charles Kategoria:Sekretarze stanu południowego departamentu Kategoria:Odznaczeni Orderem Podwiązki Kategoria:Urodzeni w 1735 Kategoria:Zmarli w 1806 Kategoria:Ambasadorowie Wielkiej Brytanii we Francji