Następne lata Sandwich spędził w swoich posiadłościach, nie uczestnicząc czynnie w życiu politycznym, aczkolwiek utrzymując kontakty z Bedfordem i lordem Ansonem. W 1763 nowy premier, lord Bute, ponownie mianował Sandwicha pierwszym lordem Admiralicji. Hrabia rychło jednak został przeniesiony na stanowisko ministra północnego departamentu, które utracił w 1765 (w międzyczasie był oskarżony o zniesławienie Johna Wilkesa).
Do gabinetu powrócił w 1768, jako poczmistrz generalny. W 1770 Sandwich ponownie stanął na czele ministerstwa północnego departamentu. W 1771 po raz trzeci w karierze objął kierownictwo Admiralicji. Okres jego urzędowania przypadł na czas wojny o niepodległość Stanów Zjednoczonych. Był powszechnie krytykowany w kraju za niekompetencję i obarczany odpowiedzialnością za utratę kolonii.
Poza tym Sandwich był protektorem Jamesa Cooka, który na jego polecenie badał obszar Oceanu Spokojnego. W 1773 zorganizował wyprawę Constantine'a Phippsa na biegun północny.
Lord Sandwich ostatecznie odszedł z gabinetu w 1782 i do śmierci nie angażował się w życie publiczne. Tytuł parowski odziedziczył jego najstarszy syn, John.