W 1995 był kandydatem socjalistów w wyborach prezydenckich. Postrzegany był jako polityk mało charyzmatyczny i zachowawczy. W pierwszej turze uzyskał najwięcej głosów (23,3%). Zwycięzcą wyborów okazał się jednak Jacques Chirac, przedstawiciel Zgromadzenia na rzecz Republiki, którego poparło w drugiej turze 52,6% głosujących. Pomimo porażki Lionel Jospin awansował w partyjnej strukturze – w tym samym roku objął ponownie funkcję pierwszego sekretarza PS, stanowisko to zajmował do 1997. W ponownie został wybrany do niższej izby francuskiego parlamentu, a socjaliści i ich sojusznicy (w tym komuniści i zieloni) uzyskali większość w Zgromadzeniu Narodowym XI kadencji.
3 czerwca 1997 Lionel Jospin objął urząd premiera Francji. Jego lewicowy rząd funkcjonował w ramach koabitacji z centroprawicowym prezydentem. Przewodniczył rządowi w okresie sprzyjającej koniunktury gospodarczej oraz niskiej inflacji. Jego gabinet przeprowadził reformy systemu opieki społecznej, reformy wprowadzające 35-godzinny tydzień pracy, zmiany w ubezpieczeniach zdrowotnych i instytucję rejestrowanych związków partnerskich, złagodził politykę imigracyjną oraz w 2001 wprowadził szeroką reformę podatkową, która obniżyła obciążenia fiskalne, zwłaszcza dla osób o niższych dochodach.