Żwania zagroził rezygnacją i przejęciem roli „konstruktywnej opozycji” w parlamencie, chyba że zostaną przyjęte radykalne środki w celu rozpoczęcia reformy.
W 2001 roku w ramach protestu przeciwko skandalom korupcyjnym w Związku Obywatelskim Zurab Żwania, wraz z Ministrem Sprawiedliwości Micheilem Saakaszwilim zrzekli się stanowisk i opuścili dotychczasową partię. W 2002 roku Zurab Żwania założył i przewodniczył nowej partii, zwanej Zjednoczonymi Demokratami i głosił swój start w wyborach prezydenckich w 2005 roku.
Rewolucja róż W listopadzie 2003 roku Zurab Żwania, wraz z innymi byłymi współpracownikami Eduarda Szewardnaszego, Micheilem Saakaszwilim i Nino Burdżanadze stanęli na czele pokojowych protestów nazwanych rewolucją róż, mających na celu demokratyzację państwa po sfałszowanych wyborach parlamentarnych. Micheila Saakaszwilego nazywano „sercem rewolucji”; Nino Burdżanadze jej „piękną twarzą”, Zuraba Żwanię zaś „rozumem”. W lutym 2004 roku zgodnie z wcześniejszymi zapewnieniami Żwania został wybrany na stanowisko premiera.