Pod jego kierunkiem pałac przeżył rozkwit i został rozbudowany; pojawiło się przy nim tzw. „białe skrzydło” („ala bianca”), wzniesione w 1614 roku na terenie ogrodu według projektu Vincenza Scamozziego. mały|left|240px|Carlo Naya, fotografia pałacu z lat 70. XIX w. W 1739 roku pałac, ze względów dynastycznych, przeszedł w ręce Niccolò Vendramina, który wzbogacił go dwoma posągami, Adam i Ewa, dłuta Antonia Rizza oraz dwiema kolumnami z jaspisu, pochodzącymi ze świątyni Artemidy w Efezie. Ponieważ rodzina Vendramin była spokrewniona z Calergi, ich nazwiska dały pałacowi jego obecną nazwę. W 1844 roku pałac został sprzedany księżnej Karolinie Burbon-Sycylijskiej, wdowie po księciu Du Berry, która zarządziła przeniesienie swej kolekcji dzieł sztuki do nowej rezydencji oraz zbudowała teatr, do którego uczęszczali czołowi przedstawiciele weneckiego patrycjatu. Jednak po poważnych trudnościach finansowych zwróciła się o pomoc do syna, Henryka, hrabiego Chambord, który spłacił długi matki, a pałac przekazał rodzinie Lucchesi Palli. Po niepokojach okresu jednoczenia Włoch właściciele musieli sprzedać pałac, a liczne dzieła sztuki wystawiono na aukcji w Paryżu.