3 maja 1669 mianowano go lordem namiestnikiem Irlandii. Do Dublina przybył 18 września tego roku. Instrukcje królewskie kładły duży nacisk na kwestie finansowe, a Robartes rozpoczął szczegółową kontrolę irlandzkich dochodów skarbowych. Jego dochodzenia dotyczące finansów Irlandii spotkały się ze sprzeciwem poprzedniego namiestnika Jamesa Butlera, księcia Ormond, oraz irlandzkiej Tajnej Rady, która odmawiała współpracy przy części postępowań. W styczniu 1670 Robartes poprosił o odwołanie. John Berkeley, baron Berkeley of Stratton, przejął od niego urząd na początku maja.
Do czynnej polityki angielskiej powrócił w 1679. 21 kwietnia wszedł w skład zreorganizowanej Tajnej Rady. 23 lipca 1679 Karol II nadał mu tytuły wicehrabiego Bodmin i hrabiego Radnor. Od października 1679 przewodniczył Tajnej Radzie jako lord przewodniczący Rady. 15 listopada 1680 głosował za odrzuceniem w pierwszym czytaniu projektu ustawy, która miała wykluczyć księcia Yorku, przyszłego Jakuba II, z następstwa tronu. 23 sierpnia 1684 zakończył pełnienie urzędu. Karol II polecił zachować mu dotychczasową pensję, lecz Robartes odmówił jej przyjmowania. Po objęciu tronu przez Jakuba II ponownie uczestniczył w pracach Izby Lordów. Ostatni raz zasiadał w niej 2 lipca 1685. Zmarł 17 lipca 1685 w Chelsea i został pochowany w Lanhydrock w Kornwalii.