Kariera reprezentacyjna Kaladze w reprezentacji Gruzji zadebiutował 27 marca 1996 w meczu towarzyskim z Cyprem, wchodząc w 72. minucie spotkania z ławki rezerwowych. W grudniowym spotkaniu z reprezentacją Libanu po raz pierwszy otrzymał czerwoną kartkę w meczu międzynarodowym. Kaladze występował w eliminacjach do Mistrzostw świata w 1998, 2002, 2006, 2010 roku i Mistrzostw Europy w latach: 2000, 2004 i 2008. Gruzja nie zakwalifikowała się na żadną z tych imprez. Pierwszy raz w oficjalnych rozgrywkach Kaladze zagrał 14 czerwca 1997 roku w meczu przeciwko Polsce. Spotkanie rozegrano w ramach eliminacji do Mistrzostw świata w 1998 roku. Gruzja przegrała ten mecz 4:1. W spotkaniu z reprezentacją Mołdawii Kaladze otrzymał czerwoną kartkę. Ostatecznie Gruzja zajęła czwarte miejsce w swojej grupie i nie awansowała na mistrzostwa. Reprezentacja nie zakwalifikowała się również na Euro 2000, z jednym zwycięstwem na koncie zakończyła eliminacje na szóstym miejscu w tabeli. W czasie tych kwalifikacji ówczesny gracz Dynama Kijów był okazjonalnie kapitanem kadry pod nieobecność Giorgiego Nemsadze.