W 1587 roku majątek Eustachego Wołłowicza odziedziczyła córka Regina będąca żoną kasztelana krakowskiewgo Seweryna Bonera. Po ich śmierci, w 1592 zamek odziedziczył syn wojewody Grzegorza Bohdanowicza Wołłowicza, cześnik litewski Piotr Wołłowicz, który przekazał go swojej córce Helenie Wołłowicz (zm. 1649), która w 1622 r. poślubiła cześnika Jana Hołowiczeńskiego, a w 1630 podstolego Krzysztofa Potockiego. W tym okresie zamek został przebudowany na pałac. Potoccy przekształcili obiekt na w pałac o wymiarach 14 x 31 metrów, dwutraktowy, z wieżą od północy i ryzalitem wielobocznym od zachodu. W 1636 r. Janusz Radziwiłł napisał list z Sidry, w którym informował o udanym polowaniu króla Władysława IV na niedźwiedzia.
Po Krzysztofie Potockim Sidrę odziedziczył Krzysztof Sędziwój Potocki (zm. w 1683 r.), a po 1701 roku Konstancja Maria Anna, która została żoną podkanclerzego litewskiego Stanisława Antoniego Szczuki. Przypuszczalnie małżeństwo nie prowadziło większych prac w Sidrze, ponieważ byli skoncentrowani na budowie nowej barokowej rezydencji w Szczuczynie. Sidrę odziedziczyła ich córka Wiktoria, która w 1719 r. poślubiła generała Jana Stanisława Kątskiego. W 1741 r. Sidra ponownie znalazły się w rękach Potockich (choć innej gałęzi) w wyniku małżeństwa Marianny Kątskiej (córki Wiktorii i Jana) z generałem Eustachym Potockim.