Jednak brak wsparcia władz centralnych PRL zahamował podnoszenie miasta z gruzów. Pod nadzorem Referatu Akcji Robót Rozbiórkowych mieszkańcy Kołobrzegu prowadzili nie tylko odgruzowywanie, ale także rozbiórkę spalonych i zniszczonych budynków. W połowie lat 50. XX wieku zaczęto nawet rozbierać budynki zachowane w dobrym stanie lub nieznacznie uszkodzone, a odzyskaną cegłę wysyłano w głąb kraju. Zakładano budowę na terenach staromiejskich socrealistycznego osiedla mieszkaniowego, lecz ostatecznie do tego nie doszło. Ruiny kamienic rozebrano, a między nielicznymi zachowanymi obiektami założono trawniki, czyniąc ze Starego Miasta rozległy teren zielony poprzecinany dawnymi ulicami. Przy ulicy Dubois na odcinku między ulicami Lenina a Katedralną zachowano jednak kilka przedwojennych kamienic i uzupełniono pierzeję o stylizowane domy.