Wreszcie w 1646 r. został podpalony, przez co popadł całkowicie w ruinę. Po tej wojnie nowym właścicielem zamku został pułkownik króla Francji Ludwika XIII Adam von KaulhausAdam von Kohlhas (zm. 1663), wpisany w stan rycerski został w 1652, był początkowo pułkownikiem wojsk francuskich, a w chwili nobilitacji pułkownikiem armii cesarskiej. W 1653 kupił państwo Wleński Gródek koło Lwówka Śląskiego i odbudował w nim ruiny starego zamku. Adam żonaty był z Anną Urszulą von Debschitz (zm. 1685). Miał córkę i czterech synów: Jerzego Abrahama, Kazimierza Ludwika, Adama Hanibala (zm. 22.10.1711 w wieku 51 lat), właściciela Stanicy koło Strzelina i Leopolda Rudolfa - dziedzica Wleńskiego Gródka, żonatego z Ewą Julianną von Posen. Miał on córkę - Juliannę Kunegundę, żonę (ślub przed 1704) Krzysztofa Ernesta von Sommerfeld. Jednak nie podjął on odbudowy zniszczonego zamku, lecz zbudował na stokach góry na której stoi zamek nowy pałac, w którym zamieszkiwał. W wieku XVIII zamek kupił hrabia Grünfeld, a po jego śmierci w 1804 r. przeszedł na własność rodziny von Haugwitz, w której rękach pozostawał do II wojny światowej.