jego mieszkańcy wysłali nadzorcę albo epistatis, który miał obserwować wydarzenia na wyspie. mały|lewo|240px|Mapa historyczna Kastelorizo Piri Reis’a
Podczas okresu panowania Cesarstwa Bizantyjskiego, Kastelorizo było częścią ‘eparchii wyspy’, której stolicą było Rodos. W 1306 roku wyspa została przejęta przez Zakon Szpitalników z Jerozolimy, dowodzony przez Folquesa de Villaret. Byli oni w drodze z Cypru do Ziemi Świętej gdy dotarli do Rodos, który został podbity 3 lata później, stając się centrum ich państwa krzyżowego. Odbudowali zamek, który był potem używany jako więzienie dla nieposłusznych rycerzy. W 1440 r. wyspa pozostawała we władzy sułtana Egiptu, Al-Aziza Jusufa, który zniszczył zamek. 10 lat później Rodos zostało podbite przez Alfonsa V Aragońskiego, króla Neapolu, który w 1461 odbudował zamek i wysłał gubernatora. Neapol odzyskał posiadanie go do 1512 roku, kiedy to Rodos zostało podbite przez sułtana Sulejmana Wspaniałego.
22 września 1659 r., podczas oblężenia Kandii, wyspa została zdobyta przez Wenecję i zamek ponownie został zniszczony.