W 1588 ród Podmanickich wygasł i Powaski Zamek znalazł się w rękach rodziny Balassa. Zaadaptowali oni niszczejącą twierdzę, ale już w 1631 rodzina przeniosła się do nowo wybudowanego renesansowego dworu u stóp wzgórza (Burg). W 1676 w niewielkiej odległości stanął kolejny dwór (Szaparyovský kaštieľ) w stylu rokoko. Podczas powstania Thökölyego zamek został obsadzony przez oddziały powstańcze, ale w 1684 zajęły go wojska cesarskie. Z obawy, aby zamek nie został ponownie użyty przeciwko Habsburgom, cesarz Leopold I nakazał zburzenie go w 1698 r.
Podczas trzęsienia ziemi z roku 1858 zawaliła się tzw. Wieża Więzienna. W 1895 ruiny wraz z innymi okolicznymi włościami kupił baron Popper (założyciel m.in. browaru w Powaskiej Bystrzycy).
Dobra barona Poppera – w tym ruiny i dwa dwory znajdujące się w podgrodziu – zostały przejęte przez państwo czechosłowackie w 1919. Wcześniej, w listopadzie 1918, okoliczna ludność kompletnie zdewastowała Szaparyovský kaštieľ.
W 2007 stowarzyszenie Zdruzenie hradu Bystrica rozpoczęło zabezpieczanie ruin, ale nadal wymagają one dalszych prac konserwacyjnych. Pałace z podgrodzia także wymagają remontu (szczególnie Szaparyovský kaštieľ).