Ostatnim dziedzicem Borowna był utracjusz z hrabiowskiej rodziny Skarbków, który poślubił siostrzenicę Edwarda Reszke – Janinę (z Michalskich). Karol Skarbek doprowadził majątek do szybkiego upadku i zlicytowania go za długi tuż przed wojną, co było początkiem końca jego świetności. W czasie II wojny światowej, w 1940 roku pałac został częściowo przebudowany na młyn elektryczny, w związku z czym pozbawiono go jednego skrzydła. W 1945 roku majątek został upaństwowiony, później kilkakrotnie zmieniał swoich właścicieli, aż trafił w ostatnich latach do rodziny państwa Drabów z Częstochowy. Oni to przywrócili mu dawny wygląd, odbudowując wschodnie skrzydło pałacu i czyniąc z niego swój nowy dom.
W ten sposób historyczny dworek odzyskał swój dawny blask. Z uwagi jednak na pełnione funkcje, można go zobaczyć jedynie z daleka.