W Wielkim Kalogeros znajdują się pozostałości pustelni-klasztoru, w którym żyli mnisi ascetyczni. Pierwszy opis klasztoru na szczycie wyspy pochodzi z 1485 r., chociaż francuski podróżnik twierdził, że XII-wieczny bizantyjski kronikarz Zonaras mieszkał przez pięć lat w Kalogeros Andorskim i że był tam klasztor. W kwestii pożywienia korzystali z przepływającego statku, z którego czerpali niewielkie zapasy żywności, którą nieśli w koszyku do swojej pustelni. Wszystkie przedstawienia Wielkiego Kalogeros pokazują istnienie klasztoru wraz z dźwigiem, na którego końcu znajdowała się łódź, dzięki czemu można było transportować ludzi i towary na wyspę, której zbocza były zbyt strome, aby się na nie wspiąć, podczas gdy są tam również znakomite domy i uprawy. Na rycinie z 1688 r. widać również fortyfikacje z okrągłą wieżą, a zabudowania można zobaczyć na dwóch sąsiednich wysepkach na południu o nazwach: „Chirana” i „Lesindra”. Wyspę narysował z wielką precyzją Vincenzo Maria Coronelli w swojej książce opublikowanej w 1696 roku.