Potocki zamówił projekt u berlińskiego architekta Karla Schinkla, który jednak zmarł w 1841 roku, a więc jeszcze przed jego zrealizowaniem.
Budowę przeprowadził dopiero jego syn Adam Józef Potocki według projektu Franciszka Marii Lanciego (w pewnym stopniu czerpiącego z założeń Schinkla), zamówionego przez jego matkę Zofię z Branickich.
Przed rozpoczęciem prac w 1850 z terenu budowy przeniesiono 35 zagrodników, którzy otrzymali wąskie pasy ziemi przy wzgórzu Solca (obecne parcele przy jednorzędowych wąskich bocznych uliczkach ul. Grunwaldzkiej). Pałac wzniesiony został w latach 1850–1857. Już rok później Adam Potocki zamówił plan przebudowy pałacu (u Filipa Pokutyńskiego), nie został on jednak zrealizowany, a wkrótce potem ukończono budowę według planów Lanciego. 20 września 1860 pałac został poświęcony przez księdza prałata Antoniego RozwadowskiegoCzas 1860 nr 215 (20.09).
. Zbudowany został na wzniesieniu. W jego skład wszedł dwupiętrowy budynek główny z czterema narożnymi wieżami oraz dodatkowe skrzydła zamykające dziedziniec. Od wschodu wzniesiono ośmioboczną oranżerię połączoną z pałacem galeryjką, a przed główną fasadą – południową – obszerny taras widokowy.