Po odkupieniu Zagórzan w roku 1885 do pałacu wraz z rodziną przeniósł się hrabia Adam Skrzyński. Po jego śmierci spadkobiercą całego dziedzictwa został hrabia Aleksander Skrzyński, ostatni z rodu Skrzyńskich, polityk II Rzeczypospolitej. Po tragicznej śmierci hrabiego, zgodnie z jego testamentem dziedziczką dóbr Skrzyńskich zostaje jego siostra Maria Joanna Skrzyńska-Sobańska.
W roku 1939 pałac został zajęty przez sztab niemiecki jako baza sprzętu bojowego dla oddziałów na Podkarpaciu. Po wycofaniu się armii niemieckiej pałac przejął sztab Armii Czerwonej. Mury zagórzańskiego pałacu przetrwały I i II wojnę światową. Dewastacja zabytku rozpoczęła się po roku 1945. Wcześniej już (według zapisu w Manifeście Lipcowym) władze zajęły się parcelacją gruntów hrabiego i rozdawaniem ich chłopom. Dopiero w roku 1949 rozpoczęto odbudowę pałacu, gdy jeszcze cały szkielet budowli nie został naruszony.