W 1452 roku Polacy pod dowództwem Piotra Szafrańca wyprawili się przeciwko Włodkowi ze Skrzynna, trzymającego w tym czasie zamek w BarwałdzieJerzy Rajman, Pogranicze Śląsko-Małopolskie w średniowieczu, Wydawnictwo Naukowe Akademii Pedagogicznej, Kraków 2000, s.207.
W XV wieku zamek w Barwałdzie i zamki w Żywcu przeszły w ręce Komorowskich herbu Korczak. W drugiej połowie lat 70. XV wieku roku warownie te zostały zniszczone w wyniku akcji wojsk króla Kazimierza Jagiellończyka skierowanej przeciwko Komorowskim; sprzyjali oni królowi Węgier Maciejowi Korwinowi, który sprzymierzył się z zakonem krzyżackim przeciwko Polsce, toteż kontrolowane przez nich zamki w Barwałdzie, Żywcu i Szaflarach stały się zagrożeniem dla Królestwa Polskiego.
Według relacji Jana Długosza akcję militarną przeciwko Komorowskim przeprowadził w 1477 roku starosta krakowski i wojewoda sandomierski Jakub z Dębna; trwała ona siedem tygodni i uczestniczyły w niej wojska zaciężne oraz artyleria. Zamek w Barwałdzie poddał się oblegającym, po czym Kazimierz Jagiellończyk kazał go zburzyć i zrównać z ziemią;