Okres rządów Zbigniewa Oleśnickiego i czasy późniejsze Złupienie Sławkowa przez husytów w 1433 r. oraz spalenie miasta rok później przez raubrittera i awanturnika politycznego Mikołaja Kornicza Siestrzeńca nie przyniosło prawdopodobnie dużych szkód zamkowi. W 1455 roku zamek został natomiast zniszczony wraz z miastem przez wspomagane ochotnikami śląskimi nieopłacone zaciężne oddziały polsko-morawskie Jerzego Stosza i Jana Świeborowskiego, walczące u boku Kazimierza Jagiellończyka przeciwko KrzyżakomSprawozdania Historyczne, t. XLV, Ossolineum 1993, s. 231.. Brutalność najazdu spowodowana była osobistym konfliktem Jana Świeborowskiego z wójtem sławkowskim, Mikołajem Gunią.
Dawniej uważano, że zamek po tym wydarzeniu nie został już odbudowany, czemu zaprzeczył jednak odkryty Bibliotece w Würzburgu widok m.in. Sławkowa z 1536/1537 r. Prawdopodobnym fundatorem odbudowy zamku był jeszcze biskup Zbigniew Oleśnicki, zmarły w tymże samym 1455 r. Wieża otrzymała wówczas późnogotycki dach brogowy. Rumowiska na dziedzińcu nie uprzątnięto, lecz położono na nim nowy bruk.
Wspomniany już widok Sławkowa z przełomu lat 1536/37 pokazuje wieżę w dobrym stanie z widoczną zewnętrzną klatką schodową, a przed nim zabudowę przedzamcza – trzy budynki. Pierwszy z nich to prawdopodobnie sam dwór.