Tereny współczesnego Kalimpong były prawdopodobnie w XVIII wieku wysuniętą pozycją Bhutańczykow, górującą nad doliną rzeki Teesta. Obszar ten był nielicznie zamieszkany przez tubylczą wspólnotę Lepcza i napływowe plemiona Bhutia i Limbu.
Po wojnie między Anglią i Bhutanem w 1864 został podpisany układ z Sinchula (1865), według którego terytorium władane przez Bhutańczyków, na wschód od rzeki Teesta, zostało przekazane Brytyjskiej Kompanii Wschodnioindyjskiej. W tym czasie Kalimpong było przysiółkiem, w którym mieszkały dwie lub trzy rodziny . Pierwszą odnotowaną informacją o mieście była wzmianka Ashleya Edena, urzędnika rządowego Bengalskiej Służby Cywilnej.
Po wojnie region został częścią dystryktu Zachodni Duars, a w roku następnym został połączony z dystryktem Dardżylingu. Umiarkowany klimat skłonił Brytyjczyków do rozbudowy miasta jako alternatywnego wobec Dardżylingu letniska, umożliwiającego ucieczkę przed upalnym na indyjskich równinach Gangesu latem. Bliskość przełęczy Nathu La i Jelep La, leżących obok starożytnego jedwabnego szlaku, była dodatkową zaletą i wkrótce Kalimpong stał się ważną placówką w handlu futrami, wełną i zbożem, między Indiami i Tybetem.