Podczas urzędowania jako senator, był również członkiem komisji wyborczej, która zdecydowała o wyniku wyborów prezydenckich w 1876 roku na korzyść republikanina Rutherforda B. Hayesa. Jako demokrata, Bayard głosował przeciwko kandydaturze Hayesa. Bayard był kandydatem partii w wyborach prezydenckich 1876. Walkę o urząd przegrał zdobywając jedynie 185 głosów elektorskich. W kolejnych wyborach prezydenckich był tylko jednym z wielu potencjalnych kandydatów i nie uzyskał nominacji do walki o Biały Dom. 7 marca 1885 roku z nominacji prezydenta USA Grovera Clevelanda został sekretarzem stanu. Do jego najważniejszych osiągnięć należało wynegocjowanie traktatu o rybołówstwie i rozdzielenie praw połowowych między USA i Kanadą na północnym Atlantyku. W 1893 roku został ambasadorem USA zw Wielkiej Brytanii. Funkcję tę sprawował do 1897 roku.
Po odejściu na emeryturę zamieszkał w Dedham w stanie Massachusetts, gdzie zmarł 29 września 1889 roku. Został pochowany w Wilmington.