Na przełomie XIX i XX wieku „Barany” stanowiły miejsce spotkań i ośrodek życia politycznego krakowskich kół konserwatywnych. Jednocześnie pałac był centrum życia towarzyskiego i kulturalnego Krakowa. Potoccy zgromadzili w swojej miejskiej rezydencji cenną galerię obrazów szkoły weneckiej, holenderskiej i niemieckiej. Ponadto znajdowały się tam wartościowe antyczne meble, porcelana oraz duży zbiór polskich pasów kontuszowych. Wnętrza pałacu można było zwiedzać za zgodą właścicieli. Podczas I wojny światowej w budynku umieszczono szpital wojskowy. Podczas wojny polsko-bolszewickiej latem 1920 Krystyna Potocka mimo zwolnienia pałacu „Pod Baranami” z obowiązku pomieszczenia w nim szpitala wojskowego przekazała ten obiekt nieodpłatnie na ten cel.
W czasie okupacji niemieckiej budynek był siedzibą gubernatora dystryktu krakowskiego, a po wkroczeniu Armii Czerwonej w styczniu 1945 roku – sowieckiej komendantury wojennej miasta. Znajdowała się tu także siedziba Smiersza i komendanta NKWD. Po wojnie, w 1947 budynek przekazano Krakowskiemu Domowi Kultury, który użytkował go do 1990. W sierpniu tego roku odzyskali go przedwojenni właściciele, a następnego dnia część Pałacu strawił wielki pożar. Remont pałacu trwał przez kilka następnych lat.
W 1956 w piwnicach pałacu „Pod Baranami” założono kabaret „Piwnica pod Baranami”.