Po uwolnieniu z więzienia odbył serię podróży po Afryce i Europie, gdzie promował państwowość Zimbabwe. Wszedł w skład Afrykańskiej Rady Narodowej (ANC), której został przewodniczącym po pozbyciu się Abla Muzorewy. Był również szefem delegacji ANC, która w październiku 1976 wyruszyła do Genewy w celu nawiązania rozmów z rodezyjskim premierem Ianem Smithem. Oprócz działalności dyplomatycznej nadzorował działania Niezależnej Ludowej Rewolucyjnej Armii Zimbabwe podlegającej ZAPU.
Siły zbrojne podlegające Nkomo były w wojnie rodezyjskiej słabsze aniżeli te podlegające Afrykańskiemu Narodowemu Związkowi Zimbabwe (ZANU). Stąd też Nkomo spotkał się z Robertem Mugabe z ZANU. Spotkanie zorganizował prezydent Tanzanii, Julius Nyerere. Współpracę kontynuowano, a w październiku 1976 roku ZAPU i ZANU zjednoczyły się tworząc koalicję znaną jako Front Patriotyczny. Nkomo objął stanowisko współprzewodniczącego Frontu Patriotycznego – sprawował je wspólnie z Robertem Gabrielem Mugabe. Nie zgadzając się na następne propozycje kompromisów, obaj liderzy zwiększyli liczbę działań partyzanckich w okresie 1977–1978. 14 sierpnia 1978 miało miejsce tajne spotkanie Nkomo i Smitha w Zambii, jednak 3 tygodnie później rodezyjski samolot pasażerski został zestrzelony przez zimbabweńskich bojowników, co zaostrzyło działania stron wojny domowej.