Zajęła drugie miejsce z wynikiem 16% i siedemnastoma na 78 mandatów, podczas gdy socjaliści uzyskali 28% i 31 miejsc w Europarlamencie.

W lipcu tego samego roku Alain Juppé złożył rezygnację z kierowania partią. Kongres mający wyłonić jego następcę odbył się 28 listopada 2004. Przewodniczącym unii został Nicolasa Sarkozy’ego, który otrzymał ponad 60 tys. głosów (85%), pokonując Nicolasa Dupont-Aignana i Christine Boutin.

UMP pod przywództwem Nicolasa Sarkozy’ego W 2005 Unia na rzecz Ruchu Ludowego zaangażowała się w kampanię poprzedzającą referendum dotyczące traktatu ustanawiającego Konstytucję dla Europy, którego projekt opracowano pod kierownictwem związanego z UMP byłego prezydenta Francji Valéry’ego Giscarda d’Estainga. 6 marca tego samego roku ogłoszono hasło wyborcze „Europa zasługuje na tak od nas” (L'Europe mérite qu'on lui dise oui). W przeprowadzonym 29 maja 2004 głosowaniu większość wyborców (ok. 55%) opowiedziała się jednak przeciw przyjęciu traktatu. W tym samym czasie Jean-Pierre Raffarin, według sondaży, stał się jednym z najmniej popularnych premierów w historii V Republiki;