Pulteney oskarżył w 1731 r. Herveya o autorstwo pamfletu Sedition and Defamation display’d, with a Dedication to the patrons of The Craftsman i odpowiedział pisząc A Proper Reply to a late Scurrilous Libel. Między dwoma politykami wybuchła kłótnia, którą rozstrzygnął dopiero pojedynek, z którego Hervey ledwo uszedł z życiem. W 1730 r. został wiceszambelanem Dworu Królewskiego. W 1733 r. Hervey otrzymał w procedurze writ of acceleration jeden tytułów ojca (2. baron Hervey) i zasiadł w Izbie Lordów. W 1739 r. był jednym ze współzałożycieli Foundling Hospital. W 1740 r. został Lordem Tajnej Pieczęci.
Hervey utracił wszystkie stanowiska po upadku Walpole’a w 1742 r. W tym samym roku wydał polityczny pamflet Miscellaneous Thoughts on the present Posture of Foreign and Domestic Affairs. Jego zdrowie jego pogarszało się w tym czasie (był epileptykiem). Zmarł w 1743 r., osiem lat przed swoim ojcem. Był autorem wielu pamfletów (m.in. Verses to the Imitator of Horace z 1732 r., Letter from a nobleman at Hampton Court to a Doctor of Divinity z 1733 r.) oraz pamiętnika w latach 1727–1737, wydanego w 1848 r. pod tytułem Memoirs of the Court of George II.