W XII wieku Kałdus był własnością Hugona Butyra, rycerza Bolesława IV Kędzierzawego, dlatego miejscowość nazywano Mons Butyri lub Potterberg. W latach 1253–1257 wielki mistrz Poppo von Osterna założył gród krzyżacki, przeniesiony następnie w 1280 r. do GniewuJ. Powierski, Hugo Butyr. Fragment stosunków polsko-niderlandzkich w XII wieku, „Zapiski Historyczne”, t. 37 (Zeszyt 2), 1972..
W 1378 r. była to wieś folwarczna należąca do komturstwa starogrodzkiego. Była ona własnością zakonu krzyżackiego do 1441 r. Według inwentarza z 1378 we wsi znajdować się miało – 16 klaczy, 9 źrebaków, 14 sztuk bydła, 37 świń oraz 140 owiec. W 1454 i 1457 Chełmno wystąpiło z prośbą do króla Kazimierza IV Jagiellończyka o nadanie pobliskiej wsi Kałdus (odpowiednio) wielkiego i małego sądownictwa na prawie chełmińskim.