Po tych sukcesach gruzińska poczta wyemitowała specjalną serię znaczków z wizerunkiem piłkarza.
W sezonie 2003/2004 Kaladze z powodu kontuzji zagrał w sześciu ligowych meczach. W następnych sezonie wystąpił w 19 spotkaniach Serie A i pięciu w Lidze Mistrzów. W lidze Milan zajął drugie miejsce. W Lidze Mistrzów doszedł natomiast do finału, w którym zagrał z Liverpoolem. W spotkaniu tym Kaladze był rezerwowym, zaś mecz zakończył się zwycięstwem Liverpoolu po rzutach karnych (3:3 po regulaminowym czasie gry). Po meczu piłkarz sfrustrowany był rzadką grą w pierwszym zespole. Pojawiły się spekulacje o przejściu Kaladzego do Chelsea w zamian za Hernána Crespo lub za 4 miliony funtów. Kaladze powiedział: „Załatwiłem już wszystko z Chelsea. Trzeba teraz poczekać na porozumienie klubu i myślę, że mógłbym być graczem Chelsea już w następnym tygodniu.” Gruzin pozostał jednak w Mediolanie i był z tego zadowolony. 4 września 2006 roku przedłużył swój kontrakt z Milanem do roku 2011. W sezonie 2005/2006 kontuzja Paolo Maldiniego spowodowała, że Kaladze przesunięty został na środek obrony. W tamtym sezonie Milan zajął trzecie miejsce w tabeli. Klub z Mediolanu byłby drugi, gdyby nie brał udziału w Aferze Calciopoli, przez którą odjęto mu 30 punktów.