W 1428 roku oddziały husyckie zdobyły i zniszczyły (używając do tego już artylerii) małą warownię, której nigdy już nie odbudowano.
Tradycyjnie przez następne wieki zamek spełniał funkcję tytularnej siedziby zarządu dóbr międzyleskich. Potem przez stulecia zmieniali się właściciele zamkowych ruin: od sołtysów pobliskiego Gniewoszowa, przez Paula Prebira, rodzinę von Tschirnhaus, hrabiów von Althann, baronów von Stillfried. W XIX stuleciu właścicielami ruin byli: hrabia von Magnis oraz królewna Marianna Orańska, pani na zamku w Kamieńcu. W rękach jej potomków, bocznej linii Hohenzollernów, zamek pozostawał do 1945 roku. Zamek "Szczerba" należy do grupy tych pechowych zamków, których byt zakończył się po kilkudziesięciu latach funkcjonowania.
Architektura Zamek Szczerba zbudowano pod koniec XIII wieku z nieobrobionego kamienia, na obrysie nieregularnego owalu, w kształcie podkowy, prosto ściętego w kierunku zachodu, z występem na północ. Mury obronne o długości ponad 100 m, wysokości 9 m i grubości około 1,5 m otaczały niewielki dziedziniec zamkowy o długości (na linii wschód - zachód) 40 m i szerokości 10–18 m. Od południa, południowego zachodu i zachodu otaczała mury zamkowe głęboka sucha fosa wykuta w skale. Całość powierzchni zamku wynosiła około 1000 m².