Najwyższym wzniesieniem dzielnicy jest Góra Gołębia o wysokości 106,6 m, tak więc wysokości względne na terenie dzielnicy przekraczają 100 metrów i jest to tym samym najwyższa nadmorska dzielnica Trójmiasta.
Historia Swoją nazwę Orłowo zawdzięcza zapewne rybakowi Hansowi (Johannowi) Adlerowi, który w 1829 kupił od miejscowego młynarza ziemię przy ujściu rzeki Kaczej, na której postawił karczmę. Karczma ta, nazwana Adlershorst (w dosłownym tłumaczeniu „Orla Kępa” lub „Orle Gniazdo”), dała nazwę miejscowości, która po 1920 r. została oficjalnie przemianowana na Orłowo (nazwę tę podaje już Słownik Geograficzny Królestwa Polskiego z 1886). W 1939 Niemcy przywrócili nazwę sprzed 1920.
Powstały w 1840 zajazd Adlera przetrwał do dziś jako część szkoły plastycznej. Osada „Adlershorst” została urzędowo potwierdzona w 1857 r. W kolejnych latach powstawały pensjonaty w rejonie ul. Zacisznej, Orłowskiej i Spacerowej. Sama gospoda w II połowie XIX w. została rozbudowana i przemianowana na „Hotel Adlershorst”.
W 1871 w Orłowie znajdowały się tylko dwa domy, a w 1908 siedem.