Zamek zajmował dominującą pozycję nad całą okolicą, i czerpał z niej dochody w postaci opłat i ceł, które w pewnym stopniu pokrywały koszty funkcjonowania twierdzy. Atutem twierdzy był naturalny port, który zapewniał utrzymanie szlaku morskiego łączącego Ziemię Świętą z Europą. Zamek nigdy nie został zdobyty podczas oblężenia, ponieważ posiadał doskonałą lokalizację i mógł być zaopatrywany przez morze. W sierpniu 1220 był oblegany przez sunickiego sułtana Al-Mu’azzama. Po dwóch tygodniach oblężenia Muzułmanie odstąpili, nie wyrządzając zamkowi żadnej szkody. Zniszczony został wówczas fort H. Qarta. W 1229 cesarz rzymski Fryderyk II postanowił zająć zamek nagłym atakiem i w ten sposób narzucić swoją władzę całemu Królestwu Jerozolimskiemu. Jednak templariusze, po wjechaniu cesarza do zamku, zamknęli za nim bramy. Cesarz pozostał ich więźniem dopóki nie wyrzekł się pretensji do zamku. W 1265 zamek był oblężony przez sułtana Bajbarsa. Dopiero po upadku w 1291 Akki i Królestwa Jerozolimskiego, templariusze stracili uzasadnienie do dalszego utrzymywania zamku Château Pèlerin. Został on ewakuowany drogą morską w dniach między 3 a 14 sierpnia 1291.