Historia mały|lewo|Mury miejskie, XIV w. Kamień Krajeński jest jedną z najstarszych miejscowości województwa kujawsko-pomorskiego. Najstarsza wzmianka dotycząca Kamienia Krajeńskiego datowana jest na 1107 rokGall Anonim w swojej kronice pod tą datą zanotował „(…) in laco vocabulo Lapis („(…) w miejscu zwanym Kamień”), w którym przebywał Bolesław Krzywousty”.
Kamień był siedzibą kasztelanii. Zazwyczaj siedzibą kasztelanii były okręgi administracyjne, które odpowiadają wielkością byłym powiatom, a na ich czele stali kasztelanowie, którzy zbierali podatki oraz daniny, dowodzili wojskami i sprawowali sądy. Od XIII w. Kamień Krajeński i jego okolice były własnością arcybiskupstwa gnieźnieńskiego, a ludzie zamieszkujący tereny podlegające arcybiskupstwu, zobowiązani byli poza tygodniową pańszczyzną, wynoszącą na ogół od jednego do trzech dni, wykonywać dodatkowe prace przy wysiewie zbóż, naprawach grobli, przędzeniu pańskiej przędzy oraz koszeniu łąki i zwózce siana. Gdy przyjeżdżał arcybiskup, mieszkańcy Kamienia Krajeńskiego musieli dodatkowo dostarczyć do kuchni jedną sztukę wołu ruskiego i jedno cielę holenderskie.
W 1339 r. Kamień Krajeński i jego okolice zostały przejściowo opanowane przez wojska krzyżackie.