Majątek Karlikowo należący w średniowieczu do wioski Świemirowo, wchodzi od 1316 w skład posiadłości klasztoru oliwskiego, który gospodarował na nim pierwotnie własną siłą roboczą. Do majątku tego należała 1 włóka i 4 morgi.
XVII wiek Pierwsza zupełnie pewna wiadomość o Karlikowie pochodzi z 1653, kiedy wydzierżawił tę posiadłość gdański kupiec Kolmer, pochodzący ze starego, znanego od 1414 rodu, przybyłego do Gdańska z Ziemi Chełmińskiej. Pierwszym majątkiem jaki wybudował Kolmer tuż przy trakcie gdańskim, dziś ulica Łokietka, był okazały pałacyk i szereg budynków gospodarczych.
Wiosną 1660 zamieszkał tutaj król Jan Kazimierz z żoną Marią Ludwiką i czołowymi przedstawicielami swojego dworu. Jego pobyt w Karlikowie wiązał się z toczącymi się w opactwie oliwskim pertraktacjami pokojowymi, które 3 mają 1660 zakończyły długoletnie zmagania wojenne między Polską a Szwecją. Stąd szły dyspozycje królewskie do kraju i tu odbywały się znane z opisów spotkania z władcą polskim wybitnych osobistości polskich i dyplomatów zagranicznych biorących udział w rokowaniach oliwskich.