W czerwcu 1995 został członkiem SPD. W 1997 zyskał rozpoznawalność w trakcie powodzi wywołanej wylaniem rzek dorzecza Odry. W 1998 zwyciężył w wyborach na nadburmistrza Poczdamu, rezygnując w konsekwencji z funkcji ministra. W 1999 został członkiem zarządu federalnego SPD, a w 2000 przewodniczącym tej partii w Brandenburgii. W czerwcu 2002 po przejściu Manfreda Stolpego do rządu centralnego został nowym premierem tego kraju związkowego. Uzyskiwał reelekcję po wyborach do landtagu w 2004 i 2009. Zasiadał również ponownie w Bundesracie, sprawując w nim od listopada 2004 do października 2005 rotacyjne przewodnictwo.
W listopadzie 2005 został wybrany na przewodniczącego SPD w miejsce ustępującego Franza Münteferinga. Po niespełna pół roku, w kwietniu 2006, zrezygnował z tej funkcji z powodów zdrowotnych. W lipcu 2013 ogłosił swoją rezygnację z wszystkich stanowisk politycznych, w tym z urzędu premiera, co również motywował kwestiami zdrowotnymi. W sierpniu tegoż roku nowym premierem został dotychczasowy brandenburski minister spraw wewnętrznych Dietmar Woidke.