w 1977 r. został członkiem kierownictwa ANC. Po zniesieniu zakazu działalności ANC w lutym 1990 r. był jednym z pierwszych przywódców, którzy powrócili do kraju. Od tego roku kierował strukturami partyjnymi Kongresu w regionie Natal Południowy, a od 1991 r. był zastępcą sekretarza generalnego. W 1994 r. został nominowany przez partię na kandydata do stanowiska premiera rządu stanowego KwaZulu Natal, nie zdobył teki premiera, ale wszedł w skład gabinetu koalicyjnego ANC z Partią Inkatha. Od grudnia 1997 r. pełnił funkcję zastępcy przewodniczącego ANC. Brał udział w negocjacjach pokojowych w Burundi, prowadzonych przez prezydenta Ugandy Yoweri Museveniego.

W czerwcu 1999 r. został wybrany na wiceprezydenta RPA; uchodził za potencjalnego następcę Thabo Mbekiego, ale jego karierę polityczną przerwał proces korupcyjny Schabira Shaika, biznesmena i doradcy finansowego Zumy. 2 czerwca 2005 r. Shaik został uznany winnym korupcji i skazany na 15 lat więzienia;