We wrześniu 1979 Nkomo uczestniczył w londyńskiej konferencji poświęconej sprawom Zimbabwe. Rozmowy na temat przyszłej konstytucji Zimbabwe-Rodezji trwały do grudnia 1979, kiedy Nkomo wyraził zgodę na zawieszenie broni. W styczniu 1980 zezwolono mu na powrót do Rodezji, aby został szefem kampanii wyborczej ZAPU.
W pierwszym rządzie Roberta Mugabe Nkomo objął tekę ministra spraw wewnętrznychWielka Encyklopedia PWN, Warszawa 2003, t. 19, s. 91, t. 1-30, t. 5.. W okresie 1981–1987 prowadził działalność opozycyjną przeciwko Mugabe. Był podejrzewany o pragnienie obalenia Mugabe przez co został zmuszony do wyjazdu z kraju. W grudniu 1987 obaj przywódcy polityczni pogodzili się, zaś Nkomo otrzymał funkcję jednego z dwóch wiceprezydentów Zimbabwe. Na łamach porozumienia doszło do połączenia ZANU i ZAPU w Afrykański Narodowy Związek Zimbabwe – Front Patriotyczny. W latach 1987–1999 pełnił funkcję wiceprezydenta. W 1998 ogłosił odejście z życia publicznego ze względu na problemy zdrowotne. Stanowisko wiceprezydenta niemniej jednak zachował do śmierci w 1999 roku.