Paulina wraz z mężem Janem Rościszewskim byli ostatnimi właścicielami dóbr. Sprzedawszy majątek, wyjechali oni z Romanowa w czerwcu 1939 roku. Wystawiony także na sprzedaż dwór opustoszał. W 1943 roku grupa partyzantów złożona ze zbiegłych z niewoli niemieckiej jeńców radzieckich podpaliła dwór, by nie dopuścić do osadzenie tu posterunku żandarmerii.
Losy niszczejącego przez lata zabytku odmieniła uchwała Wojewódzkiej Rady Narodowej w Lublinie z dnia 23 grudnia 1958 roku, powołująca Muzeum Józefa Ignacego Kraszewskiego w Romanowie. Odbudowując dwór po pożarze w 1858 r. Kraszewscy powiększyli go przez dodanie piętra. Dawny ganek zastąpiono portykiem czterema kolumnami toskańskimi wspierającymi balkon z kamienną balustradą. Na frontowym szczycie umieszczono kartusz z herbem Kraszewskich – Jastrzębiec. Dwór palił się jeszcze dwukrotne w 1914 i 1943 r. Po ostatniej wojnie odrestaurowano go w latach 1959–1962 i z inicjatywy nieżyjącego już włodawskiego nauczyciela Wacława Czecha zorganizowano w nim muzeum biograficzne Józefa Ignacego Kraszewskiego. Dwór odbudowano w kształcie, jaki nadał mu Kajetan i 28 lipca 1962 roku, w sto pięćdziesiątą rocznicę urodzin autora Starej baśni muzeum otwarto. Dwór romanowski zbudowany przez Malskich na początku XIX wieku, postawiono na piwnicach starszego budynku, być może dworu Sapiehów.