W okresie wojen husyckich zamek należał do Otto von Bergowa, który opowiedział się po stronie katolickiej. Zbiroh nie odegrał większej roli w konfliktach, choć prawdopodobnie został odbudowany po zniszczeniach z końca XIV wieku. W 1442 lub 1447 zamek został zdobyty i zniszczony jako siedziba band rabusiów. Od 1458 opisywany był jako niezamieszkana ruina. W 1538 i 1543 ponownie potwierdzono jego opuszczenie, mimo ewentualnych napraw przeprowadzonych w 1463 przez Hynka z Valdštejna. W 1613, podczas kasacji majątku, zamek przypadł Janowi Jerzemu Vartenberkowi.

Architektura Zamek zbudowano na wąskim, stromym skalistym cyplu w zakolu rzeki Izery, na wysokości około 450 metrów n.p.m. Jego układ był nieregularny, czteroczęściowy, dostosowany do ukształtowania terenu. Składał się z podzamcza lub zewnętrznych obwarowań, prawdopodobnie drewnianych, oddzielonych od rdzenia zamku skalną fosą. Centralną część stanowiła czworoboczna wieża o wymiarach 8 x 4,5 metra, kontrolująca drogę wjazdową. Na najwyższym skalnym bloku wznosił się zamek górny, składający się z dwóch podpiwniczonych budynków mieszkalnych, usytuowanych po przeciwnych stronach dziedzińca. Piwnice wschodniego skrzydła wykorzystywały naturalne formacje skalne, a zachodnie skrzydło zakończone było okrągłym murem w formie baszty.