Działalność polityczna do 2021 W 1975 przystąpił do SPD, angażując się również w działalność w jej młodzieżówce Jusos, w której w latach 1982–1988 pełnił obowiązki wiceprzewodniczącego. Od 1987 do 1989 pełnił również obowiązki wiceprezesa IUSY. Od 1994 do 2000 stał na czele organizacji partyjnej w dzielnicy Altona, a w latach 2000–2004 był przewodniczącym SPD w Hamburgu. W 2001 wybrano go do zarządu federalnego partii, a od 2002 do 2004 sprawował funkcję jej sekretarza generalnego (ustąpił po tym, jak z przywództwa w partii zrezygnował Gerhard Schröder). W latach 1998–2001 i 2002–2011 zasiadał w Bundestagu, uzyskując mandat w okręgu jednomandatowym Hamburg-Altona. Był przewodniczącym frakcji SPD w komisji ds. zbadania tzw. afery wizowej. W 2001 przez krótki okres pełnił obowiązki senatora ds. wewnętrznych w administracji Hamburga.

Po wyborach w 2005 objął funkcję przewodniczącego klubu parlamentarnego SPD. W listopadzie 2007 otrzymał nominację na urząd ministra pracy i spraw społecznych w rządzie Angeli Merkel, zastąpił na tym stanowisku Franza Münteferinga. Po porażce wyborczej SPD w wyborach w 2009 objął ponownie obowiązki przewodniczącego partii w Hamburgu, a w listopadzie tegoż roku zakończył pełnienie funkcji ministra.