Kariera klubowa Newcastle United Caldwell jako dziecko kibicował Celticowi. Jego idolem był Kenny Dalglish. W 1998 roku został włączony do pierwszego składu Newcastle United. Wcześniej trenował w szkółce piłkarskiej tego klubu i grał w rezerwach. W pierwszym zespole zadebiutował dwa lata później, 30 września 2000 roku w wygranym 1:0 wyjazdowym spotkaniu Premier League z Manchesterem City. Zmienił wówczas w 45 minucie Andy'ego Griffina. 11 listopada w meczu Pucharu Ligi z Bradford City (wygrana 4:3) zdobył pierwszą bramkę dla Newcastle. Łącznie w sezonie 2000/2001 rozegrał 10 spotkań we wszystkich rozgrywkach.
14 lipca 2001 roku Caldwell zadebiutował w rozgrywkach europejskich. Zagrał w wyjazdowym, wygranym 4:0 spotkaniu Pucharu Intertoto z KSC Lokeren. Zmienił wówczas w 61 minucie Aarona Hughesa. 9 października 2001 roku został wypożyczony na jeden miesiąc do Blackpool. W klubie tym rozegrał siedem spotkań we wszystkich rozgrywkach, a zadebiutował w meczu Football League One z Colchester United. W następnym spotkaniu, ze Stoke City w ramach Football League Trophy Caldwell zdobył gola.