Pierwszym dyrektorem ośrodka w Zagórzu była Karolina Szaniawska – matka dramaturga Jerzego Szaniawskiego, a następnym Emilia Jackowska, siostrzenica Bolesława Prusa. W 1939 roku Koło Przyjaciół Instytutu Higieny Psychicznej kierowane przez prof. Kazimierza Dąbrowskiego kupiło w sąsiedztwie teren pod sanatorium dla dzieci znerwicowanych. Po wojnie rozwiązano Towarzystwo i przeznaczono Zagórze na ośrodek leczenia choroby Heine-Medine'a.
Lata wojenne lewo|mały|212x212px|Tablica pamiątkowa przed główną bramą W pierwszych miesiącach wojennych generał Stefan Grot-Rowecki razem z generałem Michałem Karaszewiczem-Tokarzewskim w gmachu dworku tworzyli podstawy Polskiego Państwa Podziemnego, z własną armią. Gościny im udzieliła ówczesna właścicielka hrabina Kazimiera Chrzanowska wraz z córką Haliną – osobą wielce zasłużoną w konspiracji.
Z inicjatywy Zofii Kossak, bywającej w Olszynach powstała tu idea powołania Rady Pomocy Żydom "Żegota", organizacji działającej w ramach Polskiego Państwa Podziemnego, w okupowanej przez Niemców Polsce.
Majątek w Olszynach był także miejscem schronienia emisariuszy londyńskiej Delegatury Rządu na Kraj oraz Żydów – uciekinierów z falenickiego getta.