Po dwóch miesiącach, we wrześniu 2000 odszedł do ligowego rywala – Celtiku. 21 maja 2003 zagrał w finałowym meczu Pucharu UEFA, przegranego po dogrywce 2:3 z FC Porto. W ciągu 6 lat gry dla Celtiku, zdobył z nim trzy mistrzostwa Szkocji (2001, 2002, 2004), trzy Puchary Szkocji (2001, 2004, 2005), a także Puchar Ligi Szkockiej (2001). W lutym 2006 kontrakt Agathe został rozwiązany.
Przed sezonem 2006/2007 dołączył do angielskiej Aston Villi. W Premier League swój pierwszy mecz rozegrał 14 października 2006 przeciwko Tottenhamowi Hotspur (1:1). W barwach Aston Villi wystąpił w pięciu ligowych meczach. W styczniu 2007 nie przedłużono wygasającego kontraktu Agathe.
Następnie został graczem reuniońskiego klubu JS Saint-Pierroise, z którym w 2008 roku zdobył mistrzostwo Reunionu. W 2010 roku zakończył tam karierę.
8 września 2013 roku zagrał w barwach „Celtic XI” podczas charytatywnego meczu dla Stiliyana Petrova, zorganizowanego przez Celtic FC.
W 2020 roku był trenerem Durham City, jednak odszedł już w październiku tego samego roku, kiedy jego zespół zdobył zaledwie jeden punkt w dziwięciu spotkaniach.
Od 2022 roku założył i kieruje BePro Football Academy w Bangkoku, aby rozwijać młode talenty, które w przyszłości mają zagrać w Europie.