W 1846 dobra romanowskie przeszły w ręce rodziców pisarza, a po śmierci Jana Kraszewskiego w 1864 r. odziedziczył je jego najmłodszy syn, brat Józefa Ignacego, Kajetan Kraszewski, malarz, rzeźbiarz, literat, muzyk i astronom oraz kolekcjoner antyków. Zgromadził on w tutejszym dworze bogaty księgozbiór, liczący około 10 tys. tomów, w tym liczne starodruki i rękopisy, bardzo ciekawą kolekcję historycznych portretów polskich z XVI-XVIII w., zbiór broni i innych pamiątek historycznych. W zbiorach romanowskich znajdował się niemal komplet wszystkich ówczesnych wydań dzieł J.I. Kraszewskiego oraz kilkanaście namalowanych przez niego obrazów. A oto jak sam pisarz opisuje rezydencję swojego brata: „Na rozległej płaszczyźnie ciągnącej się ponad Bugiem, w Podlasiu dawnym, jest majętność zwana Romanowem. Piękne to miejsce o tyle, ile bez biegnącej wody i gór może być kraj jaki pięknym. Zdobią okolice i osadę samą lasy starych bardzo drzew, jedna z najcenniejszych ozdób, bo jej za żadne pieniądze dostać nie można (...). Na małym wzgórku wznosi się nowy, murowany dom mieszkalny, poważny, milczący, przed któren zajeżdża się okrążając dziedziniec otoczony zewsząd drzewy, zamknięty z jednej strony długimi, drewnianymi oficynami z drugiej strony odpowiadającymi im stajniami.