Miejsce było znane starożytnym geografom, lecz z powodu swej niedostępności nie było zasiedlane. W 228 p.n.e. kontrolę nad obszarem przejęła Kartagina, a w 206 p.n.e. Republika rzymska. Po upadku Cesarstwa Rzymskiego, tereny te zostały zagarnięte przez Wandalów, Gotów, a następnie przeszły we władanie Królestwa Wizygotów. W II połowie VI wieku Gibraltar i południowa część Półwyspu Iberyjskiego, należały do Cesarstwa Bizantyjskiego, ale w późniejszym czasie ponownie znalazły się pod panowaniem Wizygotów.
Panowanie arabskie 27 kwietnia 711 roku Gibraltar był miejscem lądowania berberyjskiego wodza Tarika ibn Zijada, który rozpoczął w tym miejscu arabski podbój Półwyspu Iberyjskiego. Na wieść o zwycięstwach Tarika, jego przełożony Musa ibn Nusajr, umajjadzki zarządca Ifrikijji, przybył na Półwysep by wspomóc go w walce. Dla nowo zdobytych terenów przyjęto nazwę Al-Andalus. Gdy władzę w państwie Umajjadów przejęła w 750 roku dynastia Abbasydów, lenna muzułmańskie zjednoczyły się w niezależny Emirat, a w 929 roku Kalifat Kordoby, rządzący Al-Andalus pod berłem jednego z książąt z dynastii Abbasydów. Po rozpadzie kalifatu w 1031 roku, nastąpił podział Al-Andalus na mniejsze emiraty – taify. Gibraltar wszedł w skład taify Algeciras, lecz już w 1056 roku został podbity przez taifę Sewilli.