W wyborach w 1976 większość w parlamencie uzyskały partie centroprawicowe. Socjaldemokraci po 40 latach nieprzerwanych rządów przeszli do opozycji. Olof Palme ustąpił oficjalnie ze stanowiska premiera 8 października 1976. Wkrótce wybuchła afera dotycząca Lennarta Geijera, ministra sprawiedliwości w gabinecie Olofa Palmego. Zarzucono mu korzystanie z usług prostytutek z bloku wschodniego, które mogły przekazywać informacje agentom KGB. W wyborach 1979 socjaldemokratom ponownie nie udało się uzyskać większości do stworzenia rządu. Olof Palme nie utracił jednak przywództwa w partii. W 1980 z ramienia ONZ został mediatorem podczas wojny iracko-irańskiej. 1 marca 1982 kierowana przez niego komisja opublikowała swój raport dotyczący mediacji w tym konflikcie.
Socjaldemokraci zwyciężyli natomiast w wyborach 1982, Olof Palme 8 października tegoż roku ponownie objął urząd premiera. Utrzymał go także po wyborach z 1985, kierując szwedzkim rządem do czasu swojej śmierci 28 lutego 1986. W 1983 Riksdag podjął decyzję o zwiększeniu wpływu związków zawodowych na prywatne przedsiębiorstwa, co doprowadziło do ostrego sporu z biznesem.