Choć był przyjmowany przez rodaków entuzjastycznie i konsekwentnie wspierany przez państwa Europy Zachodniej, jego polityka nie przyczyniła się do pobudzenia gospodarki. W chwili ustąpienia Nyerere z urzędu w 1985 roku, Tanzania w dalszej mierze pozostawała krajem ubogim, niemniej jednak prezydentowi udało się osiągnąć jedne z najwyższych wskaźników alfabetyzacji w Afryce, wyeliminować nierówności oraz zapewnić stabilność polityczną. Po ustąpieniu z urzędu prezydenta, pozostawał przewodniczącym Partii Rewolucji. Z funkcji zrezygnował w 1990 roku. Od tamtej pory nie angażował się politycznie, pełnił funkcję męża stanu i regularnie uczestniczył jako arbiter w rozwiązywaniu międzynarodowych kryzysów (m.in. w Burundi i Rwandzie). Zmarł 14 października 1999 roku, Benjamin Mkapa, ówczesny prezydent Tanzanii, ogłosił śmierć Nyerere w telewizji państwowej, a także ogłosił 30-dniowy okres żałoby narodowej, zamknięto szkoły i urzędy, odwołano szereg wydarzeń rozrywkowo-kulturalnych, a tanzańskie radio państwowe, odtwarzało muzykę pogrzebową, podczas gdy w telewizji emitowano programy z jego udziałem, a żałobę narodową ogłoszono także w kilku państwach m.in.