Ciągłe przeróbki rezydencji trwały aż do 1870 (według projektu Friedricha Augusta Stülera i Parysa Filippiego). W 1871 zmieniono fasadę główną, a po 1893 przedłużono skrzydło zachodnie według projektu Zygmunta Hendla. Na przeł. XIX i XX w. dobudowano jeszcze skrzydło gospodarcze, tworząc dziedziniec gospodarczy.
Potoccy przeprowadzili się tutaj w 1862 i w ich posiadaniu pałac znajdował się aż do II wojny światowej – tu znajdowało się centrum rodowe tzw. ‘krzeszowickiej’ linii Potockich. 1 kwietnia 1865 roku zmarł tutaj hr. Roman Załuski, dyplomata, urzędnik, działacz emigracyjny.
W kwietniu 1940 pałac stał się letnią rezydencją generalnego gubernatora Hansa Franka i w związku z tym na jego polecenie do 1 września 1940 roku dokonano przebudowy pałacu, dodając m.in. środkową klatkę schodową. Projekt przebudowy sporządził Herbert Pohl, a wnętrza urządzili architekci Franz Koettgen i Edgar Horstmann. Krzeszowickie zbiory znacznie ucierpiały podczas okupacji niemieckiej podczas II wojny światowej. Tuż po zakończeniu II wojny światowej Potoccy podjęli nieudaną próbę wywiezienia ocalałej części ruchomego majątku za granicę.