W połowie XIII wieku zamek upodobał sobie znany z awanturniczego życia syn Henryka II Pobożnego (a wnuk Henryka I Brodatego i św. Jadwigi), Bolesław II Rogatka. Właśnie w zamkowej wieży więził on w 1257 r. wrocławskiego biskupa Tomasza IPraca zbiorowa, Słownik władców Polski, Poznań 1999, s. 67., a w 1277 swego bratanka, księcia wrocławskiego Henryka IV Probusa. W połowie XIV wieku za panowania księcia świdnicko-jaworskiego Bolka II Małego nastąpiła kolejna rozbudowa zamku, powstał wówczas tzw. zamek średni. Po jego śmierci wdowa po nim, księżna Agnieszka przekazała w 1368 r. zamek w zastaw lenny rycerzom von Zedlitz. W 1377 r. właścicielem zamku został Tymo von Kolditz, który dokonał rozbudowy i umocnienia warowni. W 1428 r. podczas powstania husyckiego zamek był przez powstańców bezskutecznie oblegany.