Wśród językoznawców od dawna toczy się spór odnośnie do pochodzenia tej nazwy, przy czym większość uznaje, że źródłosłowu należy szukać w słowiańskiej nazwie rzecznej Oława, mylnie skojarzonej przez nieznających dawnego języka kaszubskiego zakonników z oliwką, a w konsekwencji z Górą OliwnąM.A. Szypowscy, Oliwa, s.6..
Pierwotny konwent liczył zaledwie dwunastu zakonników. Dlatego też ograniczyli się oni jedynie do wzniesienia romańskiego oratoriumCzęściowo zachowane do dzisiaj w murach prezbiterium. oraz drewnianych zabudowań mieszkalnych. Dopiero w pierwszej połowie XIII wieku oratorium zaadaptowano na prezbiterium, dobudowano po obu jego stronach wydłużone kaplice, charakterystyczne dla cysterskiego kościoła w Fontenay, na którego planach wzorowało się wiele cysterskich świątyń. Zbudowano wówczas transept i zasadniczy korpus kościoła o długości czterech przęseł dzisiejszej nawy głównej, a także pierwsze murowane zabudowania klasztorneM.A. Szypowscy, Oliwa, s.53.. Około roku 1300 powstał też kościółek św. Jakuba przeznaczony – jako parafialny – dla miejscowej ludnościM.A. Szypowscy, Oliwa s.58..