Ze stanowiska zrezygnował już w następnym miesiącu. Czas poświęcił na pisanie prac na temat jedności afrykańskiej i ustroju. Jego najważniejszą pracą był dokument o nazwie Ujamaa – podstawa afrykańskiego socjalizmu, w którym przedstawił zarys swojej ideologii politycznej. W 1962 roku, gdy Tanganika stała się republiką, został wybrany na prezydenta.
W 1964 roku doprowadził do zjednoczenia Tanganiki i Zanzibaru. Na skutek zjednoczenia doszło do utworzenia Tanzanii, w której to równocześnie został prezydentem i premierem. Od 1977 roku pozostawał również liderem rządzącej Partii Rewolucji powstałej na skutek połączenia Afrykańskiego Narodowego Związku Tanganiki i Partii Afroszyrazyjskiej z Zanzibaru. Od chwili utworzenia partii Tanzania pozostawała państwem jednopartyjnym.
W 1967 roku proklamowano Deklarację z Arushy, która opierała się na opracowanej przez niego zasadzie ujamaa. W deklaracji rząd zapowiedział budowę egalitarnego społeczeństwa socjalistycznego. W ramach realizacji tej koncepcji, Nyerere przeprowadził proces kolektywizacji wsi, budowy wiosek socjalistycznych czy nacjonalizacji (banków, towarzystw ubezpieczeniowych, większych przedsiębiorstw handlowych i przemysłowych, należących głównie do kapitału zagranicznego). Reformom towarzyszyły masowe kampanie nauki czytania i pisania.