Pełnił tę funkcję do marca 2003.
4 marca 2001 po raz trzeci wziął udział w wyborach prezydenckich. W pierwszej turze głosowania zajął trzecie miejsce, z wynikiem 12,61%. Zarówno on, jak i Nicéphore Soglo, który zajął drugie miejsce, oskarżyli urzędującego prezydenta Kérékou o sfałszowanie wyników wyborów i odmówili wzięcia udziału w drugiej turze. Do drugiej tury z urzędującym prezydentem stanął ostatecznie kandydat z czwartego miejsca Bruno Amoussou, którego Kérékou pokonał zdobywając 84% głosów.
W lutym 2003 został wybrany burmistrzem Porto-Novo, w czerwcu tego samego roku zrezygnował jednak ze stanowiska. W wyniku wyborów parlamentarnych z marca 2003 ponownie dostał się do parlamentu.
W marcu 2006 po raz czwarty wziął udział w wyborach prezydenckich. Jako że prezydent Kérékou i były prezydent Soglo nie mogli w nich uczestniczyć, Houngbédji wydawał się być faworytem w wyścigu wyborczym. W czasie kampanii wyborczej deklarował zamiar walki z korupcją i działanie na rzecz rozwoju gospodarczego. Zobowiązał się do wprowadzenia większej decentralizacji władzy, zapewnienia lepszej opieki kobietom i dzieciom oraz do modernizacji rolnictwa. W pierwszej turze 5 marca 2006 został jednak nieoczekiwanie pokonany przez niezależnego kandydata Yayiego Boni. Houngbédji zdobył 24,22% głosów, podczas gdy Boni 35,78%.