Po pożarze w 1581 roku spowodowanym uderzeniem pioruna nie został on odbudowany, a jego rolę przejął pałac, wzniesiony przez wspomnianych Czetryców u stóp zamkowego wzgórza. Opuszczoną warownię fortyfikowano jeszcze podczas wojny trzydziestoletniej w celu obrony właścicieli pałacu przed korzystającymi z dobrodziejstw wojennej anarchii zbrojnymi bandami. Później zamek nie był już wykorzystywany i z czasem popadł w całkowitą ruinę.
Opis zamku Zamek Nowy Dwór zbudowano na skalnym stromym wzniesieniu wzdłuż szczytu o długości około 140 m, z nieobrobionego kamienia łupanego, na planie wydłużonego, załamanego czworoboku, z dostosowaniem do rzeźby terenu. Zamek składał się z XIV-wiecznego zamku górnego, obwodowych murów obronnych i dwóch domów, w których mieściły się stajnie, zabudowania gospodarcze i pomieszczenia dla załogi. Prostokątnego umieszczonego w północno-zachodnim narożniku o wymiarach około 10 m x 5 m i drugiego o wydłużonym kształcie przy murze północnym, które znajdowały się w obrębie murów, natomiast wieża była usytuowana na zewnątrz murów. Od strony zachodniej, najłatwiej dostępnej, warownię wzmocniono wykutą w skale suchą fosą. Bramę wjazdową ulokowano prawdopodobnie w zachodniej partii zespołu obronnego, w fosie zaś umieszczono zbiornik na wodę.