W 2003 został stałym obserwatorem Polski w Parlamencie Europejskim, od maja do lipca 2004 był eurodeputowanym V kadencji. W wyborach w 2004 startował z listy SLD-UP w okręgu wyborczym nr 13; uzyskał mandat europosła, otrzymując 25 335 głosów. W PE został członkiem Postępowego Sojuszu Socjalistów i Demokratów. Przystąpił do Komisji Transportu i Turystyki oraz Komisji Budżetu. W 2008 uznany został za najbardziej pracowitego europosła (MEP Awards) w kategorii transport. W wyborach w 2009 skutecznie ubiegał się o reelekcję z ramienia tego samego komitetu..
28 kwietnia 2012 został wiceprzewodniczącym Sojuszu Lewicy Demokratycznej, pełnił tę funkcję do 2021. W wyborach w 2014 ponownie uzyskał mandat eurodeputowanego. 18 stycznia 2017 w czasie sesji plenarnej Parlamentu Europejskiego w Strasburgu został wiceprzewodniczącym PE VIII kadencji. W wyborach w 2019 z powodzeniem ubiegał się o reelekcję do Parlamentu Europejskiego z listy Koalicji Europejskiej. W 2024 zrezygnował z kandydowania w kolejnych wyborach europejskich.