XVII-wieczne założenie, ograniczone do obecnej części centralnej, obejmowało, podobnie jak dzisiaj, dwa piętra z dwoma krótkimi skrzydłami, dziedziniec honorowy, ciągnący się w kierunku morza i część zachodnią, połączoną z głównym korpusem. Wystrój pokoi został powierzony nie tylko najbardziej cenionym artystom genueńskim, takim jak Giovanni Battista Carlone i Valerio Castello, ale również bolońskim, jak: Angelo Michele Colonna i Agostino Mitelli.
Epoka rodziny Durazzo (1679–1823) W latach 1677–1679 pałac przeszedł w ręce rodziny Grillo, która wkrótce sprzedała go rodzinie Durazzo. Durazzo rozbudowali pałac i udekorowali go freskami, sztukateriami i wyposażyli w cenne obrazy. Rozbudowę rezydencji nadzorował architekt G.P. Orsolino (1682–1685). Według relacji Rattiego z 1705 roku, Eugenio Durazzo zlecił rzymskiemu architektowi Carlowi Fontanie przebudowę kompleksu w celu nadania mu spójnego wyglądu. Fontana zaprojektował przedsionek z monumentalnymi schodami prowadzącymi wprost na drugie piano nobile, taras z widokiem na morze oraz powiększył dziedziniec honorowy, otaczający taras i oddzielający go potrójną arkadą od wiszącego ogrodu. Dziełem Fontany jest też wewnętrzna elewacja pałacu, stanowiąca wyraźny kontrast z jego bardziej surową elewacją od strony Via Balbi.