Ostatnie lata Po upadku gabinetu w 1765 r. ponownie znalazł się w opozycji. Wprawdzie niektórzy z jego stronników przystąpili za jego zgodą do gabinetu Chathama w 1767 r., ale sam książę pozostał w ławach opozycji. W tych latach pogarszał się stan jego zdrowia. W 1770 r. został częściowo sparaliżowany. Zmarł rok później i został pochowany w rodzinnym grobowcu w Chenies. Tytuły parowskie odziedziczył jego wnuk, Francis.
4. książę Bedford był ponadto Lordem Namiestnikiem Bedfordshire (1745–1771) i Devon (1751–1771), kanclerzem Trinity College w Dublinie w latach 1765–1770 i kawalerem Orderu Podwiązki od 1749 r.
Życie prywatne 11 października 1731 r. poślubił lady Dianę Spencer (1710 – 27 września 1735), córkę Charlesa Spencera, 3. hrabiego Sunderland, i lady Anne Churchill, córki 1. księcia Marlborough. John i Diana mieli razem jednego syna: John Russell (ur. i zm. 6 listopada 1732), markiz Tavistock
2 kwietnia 1737 r. poślubił Gertrude Leveson-Gower (15 lutego 1715 – 1 lipca 1794), córkę Johna Levesona-Gowera, 1. hrabiego Gower, i lady Evelyn Pierrepont, córki 1. księcia Kingston-upon-Hull.