W 1564 roku cech kowali zagwarantował w statucie, że nie będzie przyjmował Słowian.

W 1653 miasto przejęła Brandenburgia, zamieniając je w twierdzę. Od tego czasu miasto wyczerpane wojną trzydziestoletnią i peryferyzacją zaczęło podupadać. W 1761 podczas wojny siedmioletniej miasto zdobyli Rosjanie.

W 1807 twierdzę Kołobrzeg (niem. Festung Kolberg) oblegały wojska napoleońskie. Polskie oddziały na Kołobrzeg prowadził płk Sułkowski. Komendantem twierdzy był hrabia pruski, major Gneisenau. Miasto broniło się aż do podpisania traktatu pokojowego w Tylży, który zakończył wojnę. Wydarzenie to urosło w Prusach do rangi legendy. Major Gneisenau otrzymał awans na podpułkownika i zyskał sławę jako dowódca.

W 1830 powstał pierwszy zakład kąpieli solankowych.

W 1859 Kołobrzeg uzyskał połączenie kolejowe ze Szczecinem i Gdańskiem. Szybki rozwój uzdrowiska nastąpił po utraceniu przez miasto statusu twierdzy. W 1899 został otwarty dom zdrojowy Strandschloß.

Decyzją króla Prus Wilhelma I twierdza została zlikwidowana w 1872 roku, rozpoczęła się rozbiórka fortyfikacji, stopniowo zmieniając charakter miasta. W tym samym roku weszło do powiatu Kolberg-Körlin.