Sytuacja zmieniła się zimą z 1978 na 1979 r. Spadek jakości świadczeń socjalnych państwa oraz narastający konflikt ze związkami zawodowymi zaowocował tamtej zimy falą strajków w przedsiębiorstwach państwowych (tzw. Zima niezadowolenia). Strajki gwałtownie pogorszyły notowania rządu. Z jego popierania wycofali się liberałowie. 28 marca Izba Gmin uchwaliła wotum nieufności dla jego gabinetu. Za radą królowej Callaghan rozpisał wybory na maj 1979 r. Wybory zakończyły się zwycięstwem Partii Konserwatywnej. Partia Pracy została na 18 lat odsunięta od władzy.

Polityczna emerytura Callaghan pozostał liderem Partii Pracy do września 1980 r. Jego następcą został Michael Foot. W 1983 r. Callaghan został najstarszym członkiem Izby Gmin (Father of the House). Obok Foota był jedynym deputowanym, który startował w wyborach 1945 r. W 1987 r. został kawalerem Orderu Podwiązki. W tym samym roku zrezygnował z ubiegania się o reelekcję. Został kreowany parem dożywotnim jako baron Callaghan of Cardiff i zasiadł w Izbie Lordów.

Zmarł w 2005 r. jako najdłużej żyjący premier Wielkiej Brytanii.

Życie prywatne W lipcu 1938 r. poślubił Audrey Elizabeth Moulton (28 lipca 1915 – 15 marca 2005). Miał z nią syna i dwie córki.