Hieronim Wielopolski był właścicielem pałacu do 1772 roku. W 1822 pałac kupił Artur Potocki i do rodziny Potockich należała do wybuchu II wojny światowej. Przeprowadzili oni w 1860 generalny remont pałacu, przy okazji podwyższając budynek o jedno piętro. W latach 1853–1854 nad bramą od strony Rynku Głównego pojawiły się charakterystyczne trzy baranie głowy autorstwa Franciszka Marii Lanciego.

Pomimo tej przebudowy zachowały się relikty dawnej architektury. Elementy gotyckie widoczne są w podziemiach, na parterze (izba gotycka) i w elewacjach niższych kondygnacji dziedzińca wewnętrznego. Natomiast w elewacjach zewnętrznych można dostrzec ślady dekoracji barokowych z XVIII wieku. Wnętrza pałacu kryją w sobie wystrój dekoracyjny z XVII, XVIII i XIX wiekuMarek Żukow-Karczewski, op. cit..

W kwietniu 1846 roku podczas rewolucji krakowskiej w rezydencji mieściło się dowództwo powstańczej Gwardii Narodowej. W dniu 15 maja 1876 roku w pałacu zmarła Elżbieta z Branickich Krasińska"Czas", 18 V 1876, s. 2, w latach 1843-1859 żona Zygmunta Krasińskiego, a od roku 1860 - Ludwika Krasińskiego.