W następnych latach właściciele zmieniali się często i nie dbali o budowlę. Od 1465 r. jego właścicielem był rozbójnik Hans von Zedlitz, który nie oszczędzał nawet mieszkańców Wlenia. W latach 1567–1574 następny właściciel zamku Sebastian Zedlitz przeprowadził przebudowę zamku. Prace nadzorował architekt Jerzy der Wahlich. Wzmocniono wówczas obronność warowni poprzez podwyższenie murów i wieży. Nowym właścicielem zamku już w 1581 r. został Sebastian von Schaffgotsch, a w 1605 r. następny awanturnik z rodziny von Zedlitz, Konrad, gnębiący okoliczną ludność. Wymuszał on od ludności różnorodne daniny i usługi, a jeżeli nie chcieli oni spełnić jego życzeń, więził on w lochu burmistrza miasta.
W czasie wojny trzydziestoletniej zamek był kilkakrotnie oblegany i zdobywany przez wojska szwedzkie i cesarskie. 7 września 1646 roku wojska Szwedzkie ostatecznie się poddały, wojskom cesarskim dowodzonym przez generała Montecucoli, który, nakazał wysadzenie zamku, by już nigdy nie był bastionem oporu. Od tej pory budowla pozostaje w ruinie.