Węgrzy nigdy tej pożyczki nie zwrócili, a wsie zostały pod kontrolą Rzeczypospolitej aż do rozbiorów. Jak wynika z Aktu zastawu XVI miast spiskich Polsce, tu zwracany dług miał być przez obie strony przeliczony, a po przeliczeniu do zamku Czorsztyna przewieziony i oddany.
Piotr zmarł w 1432 r., po nim zamek odziedziczył syn Jan Schwarz (Czarny). W 1431 i 1433 r. w najazdach husyckich zostały złupione okoliczne wsie, natomiast sam zamek nie ucierpiał. Jan był ostatnim Berzeviczym panującym nad zamkiem. W 1463 r. przekazał go w zastaw Emerykowi Zápolyi, a w 1470 r., po bezpotomnej śmierci Jana, budowla stała się jego własnością.
Wiosną 1463 r. na zamku toczyły się rokowania posłów starosty czorsztyńskiego, Jana Wolskiego z delegacją Tomasza z Tarczy, dowódcy oddziału, który pustoszył i łupił południowo-wschodnią Małopolskę. W tym samym roku zawarto pokój Korony Królestwa Polskiego ze Stefanem Zápolyą, starostą Górnych Węgier – okazał się on jednak nietrwały, ponieważ Tomasz z Tarczy nie zaprzestał napadów. Trwały pokój nastąpił dopiero w czasie