Od strony Krakowskiego Przedmieścia pałac był oddzielony fosą i parterowym budynkiem z bramą z mostem zwodzonym. Następnie wchodziło się na dziedziniec, po którego bokach stały parterowe boczne skrzydła, a na wprost na samym stoku skarpy wiślanej wznosił się jako dominanta czterokondygnacyjny pałac zwieńczony dwoma wieżami na bokach i attyką. Pierwsze piętro miało charakter reprezentacyjny i tam znajdowała się sala stołowa ze srebrną fontanną z Bachusem z beczką, z którego lało się wino. Sala posiadała też galerię dla muzyków. Na drugim piętrze znajdowały się apartamenty mieszkalne Adama Kazanowskiego i jego żony Elżbiety Słuszczanki, kaplica, kancelaria i biblioteka. Za pałacem do Wisły schodził tarasami ogród, z fontannami, oranżerią, zwierzyńcem, szpalerami drzew i grotą. Po śmierci Adama Kazanowskiego w 1649 roku pałac odziedziczyła jego żona Elżbieta, która wyszła ponownie za mąż w maju 1650 roku za podkanclerza koronnego Hieronima Radziejowskiego. Gdy na skutek zniesławiających podejrzeń o zdradę postanowiła się z nim w lecie 1651 roku rozwieść, jej brat Bogusław Jerzy Słuszka 4 stycznia 1652 roku obsadził pałac swoimi oddziałami.