Kolejnym właścicielem tych dóbr był jego jedyny syn z małżeństwa z Franciszką Anną Monwid-Białozor (1789–1829), Karol junior (1819–1887, marszałek szlachty powiatu poniewieskiego) ożeniony w 1838 roku z Zofią Mineykówną, która wniosła mu w posagu ponadto Upitę, Stulciszki i kilka mniejszych folwarków, co w sumie tworzyło majątek o powierzchni około 6500 hektarów.
W pobliżu Bystrampola, w dniu 30 lipca 1863 roku doszło do bitwy powstańców Antoniego Mackiewicza z oddziałami carskimi. W bitwie brał udział Władysław Bystram (1839–1918), syn Karola juniora. Powstańcy również stacjonowali w pałacu Bystramów. Za udział Władysława w powstaniu styczniowym Karol został w 1863 roku uwięziony przez władze carskie, a wszystkie jego majątki zostały objęte sekwestrem. Po kilku latach Bystramowie odzyskali swoją własność, którą po śmierci Karola odziedziczył Władysław. Podzielił on majątek między swoich 4 synów. Bystrampol odziedziczył najmłodszy z nich Tadeusz (1886–1935). W 1900 roku majątek liczył 3824 dziesięcin ziemi, a tym 872 dziesięciny lasu. Władze litewskie, w wyniku reformy rolnej w 1925 roku skonfiskowały lasy należące do majątku, a folwark rozparcelowano, pozostawiając jedynie 84 ha przy Bystrampolu.