W latach 1985–1986 Olof Palme był też skonfliktowany z wysokimi dowódcami wojskowymi, którzy zarzucali mu niezdecydowanie i słabą reakcję przeciw ZSRR (w sprawie incydentów dotyczących radzieckich okrętów podwodnych) oraz deklarowali wobec premiera brak zaufania.
Podczas kampanii wyborczej 1985 zarzucono mu oszustwo podatkowe). Dotyczyło to wydarzeń z 1984, kiedy to wygłosił wykład na wydziale prawa Uniwersytetu Harvarda, za który odmówił przyjęcia honorarium. Rzekomo miał wtedy dać do zrozumienia władzom uczelni, że zamiast tego wolałby, aby jego syn Joakim otrzymał roczne stypendium na uniwersytecie (które faktycznie mu przyznano jeszcze w tym samym roku). Sprawą tą w trakcie kampanii wyborczej w 1985 zajęły się media. Decyzją organu podatkowego nakazano Olofowi Palmemu zapłacenie podatku za wynagrodzenie, które ten miał otrzymać za wykład. Polityk zaskarżył tę decyzję do sądu administracyjnego, jego pisma w tej sprawie zostały zarejestrowane wkrótce przed jego śmiercią, a sprawa nie została ostatecznie rozpoznana.