Od 17 maja 1996 do 21 października 1998 zajmował w rządzie Romano Prodiego stanowiska wicepremiera i ministra kultury. W 1998 po odejściu z rządu stanął na czele Demokratów Lewicy (partii powstałej z przekształcenia Demokratycznej Partii Lewicy), zastępując nowego premiera Massima D’Alemę. Partią tą kierował do 2001. W latach 1999–2004 sprawował mandat deputowanego do Parlamentu Europejskiego.
W 2001 wygrał wybory na urząd burmistrza Rzymu. Pokonał Antonia Tajaniego, kandydata Forza Italia. W 2006 ponownie został wybrany burmistrzem Rzymu. W głosowaniu otrzymał 61,4% głosów, pokonując Gianniego Alemanno z Sojuszu Narodowego. Ze stanowiska zrezygnował 13 lutego 2008, by zaangażować się w kampanię wyborczą przed wyborami parlamentarnymi.
W maju 2007 powołano we Włoszech komitet organizacyjny Partii Demokratycznej, ugrupowania, które na celu miało zjednoczenie ruchu centrolewicowego, skupionego dotychczas w koalicji Drzewo Oliwne. Walter Veltroni od początku był uznawany za jednego z najodpowiedniejszych kandydatów na stanowisko jej sekretarza (lidera partii). W czerwcu 2007 Piero Fassino, lider Demokratów Lewicy, publicznie wezwał go do ubiegania się przywództwo, oferując mu poparcie swojej partii. Walter Veltroni oficjalnie ogłosił swój udział w wyborach lidera nowej partii w tym samym miesiącu na wiecu w Turynie.