W 1355 roku zamek, który był ostoją rozbójników, został zdobyty przez króla czeskiego Karola IV Luksemburskiego. W 1356 zamek – za 2300 kop praskich groszy – nabył Hersko z Rozkowicz. Przy transakcji zastrzeżono prawo pierwokupu zamku dla Bolka II Małego. Z prawa tego w niedługim czasie Bolko II Mały skorzystał. W roku 1369, po śmierci Bolka II Małego, księżna Agnieszka (wdowa po księciu Bolku II) oddała zamek w lenno biskupowi wrocławskiemu Przecławowi z Pogorzeli, do którego zamek należał do roku 1376. Następnymi właścicielami zamku byli Gunzel i Nickel von Seidlitz, a od roku 1388 Heinrich von Rechenberg i jego czterej synowie. W 1392 roku warownia, tak jak całe księstwo świdnicko-jaworskie, weszła w posiadanie władców czeskich. W czasie wojen husyckich zamek dwukrotnie był oblegany przez powstańców – w roku 1427 i 1434, lecz nie wiadomo, czy był zdobyty. Od początku XV wieku zamek był opanowany przez rycerzy rabusiów, w wyniku czego w 1443 roku został zniszczony przez mieszczan wrocławskich, wspieranych przez wojsko. W 1466 roku bracia Hans i Nikolaus von Schellendorf odbudowali zamek i sami zaczęli parać się rozbojami. W 1483 roku zamek przejęły wojska Macieja Korwina. W 1497 roku wrocławski starosta Georg von Stein z rozkazu czeskiego króla Władysława Jagiellończyka zdobył i zniszczył zamek.