Położona wysoko pozycja umożliwiała także obserwację podejść morskich na niemal 30 mil morskich.
W kolejnych latach spalony kościół częściowo odbudowano jako wieżę strażniczą mieszczącą koszary dla niewielkiego garnizonu. Ostatecznie między 1652 a 1662 rokiem wokół wieży wybudowano niewielki fort. Składa się on z niewielkiej wieży w stylu manuelińskim, otoczonej murem obronnym z czterema bateriami umieszczonymi w narożnych bastionach. Jedyne wejście do fortu wzmacniał most zwodzony. Załogę stanowiło 25 żołnierzy zmienianych co 24 godziny. By uniemożliwić rozpoznanie kluczowej pozycji przez wrogich szpiegów, dostęp do fortu dla osób postronnych był zabroniony.
W latach 1680–1681 lokalne plemiona walczące z holenderskimi handlarzami niewolników odcięły oba forty Elminy od reszty kraju, nie udało im się jednak zdobyć miasta ani fortyfikacji.