W 1996 roku Kavanagh został wypożyczony z Middlesbrough do Stoke City (Division One). W tym samym roku przeszedł do Stoke na zasadzie transferu definitywnego. W sezonie 1997/1998 wraz z zespołem spadł do Division Two. W 2001 roku przeszedł do innego klubu tej ligi, Cardiff City. W sezonie 2002/2003 awansował z nim do Division One. W trakcie sezonu 2004/2005 odszedł do Wigan Athletic, także grającego w Championship. Na koniec tamtego sezonu wraz z Wigan zajął 2. miejsce w Championship i awansował z nim do Premier League.
W 2006 roku Kavanagh za 500 tysięcy funtów przeszedł do Sunderlandu z Championship. Z tego klubu dwukrotnie był wypożyczany do Sheffield Wednesday (Championship), a także raz do Carlisle United (League One). W 2009 roku podpisał kontrakt z Carlisle. W 2011 roku zakończył tam karierę.
W Premier League rozegrał 54 spotkania i zdobył 1 bramkę.
Kariera reprezentacyjna W reprezentacji Irlandii Kavanagh zadebiutował 25 marca 1998 w przegranym 1:2 towarzyskim meczu z Czechami. 28 kwietnia 1999 w wygranym 2:0 towarzyskim pojedynku ze Szwecją strzelił swojego jedynego gola w kadrze.