W 1991 powrócił na Haiti. Jeszcze w tym samym roku doszło do zamachu stanu dokonanego przez wojskową juntę pod przywództwem Raoula Cédrasa, który obalił pierwszego demokratycznie wybranego prezydenta Haiti Jeana-Bertranda Aristide’a, Jean-Juste jako prominenty zwolennik odsuniętego polityka następne trzy lata spędził w ukryciu. Do działalności duszpasterskiej powrócił w 1994, wraz z przywróceniem Aristide’a na urząd prezydenta. Został wówczas (w 1994) rektorem kościoła św. Klary w Port-au-Prience. Prowadził w nim szeroką działalność społeczną, w tym m.in. jadłodajnie dla ubogich.
W 2004 roku Aristide został po raz drugi obalony. Jean-Juste ponownie znalazł się w opozycji wobec wspieranego przez USA rządu tymczasowego, na którego czele stanął Gérard Latortue. W 2004 został aresztowany, pod zarzutem ukrywania żołnierzy przychylnych dla obalonego prezydenta Aristide’a.