W 1437, po sporach pomiędzy poszczególnymi książętami, książę Bolko V Husyta otrzymał od stryja Bernarda niemodlińskiego połowę zamku w Chrzelicach ze wszystkimi przynależnymi dobrami. Po śmierci Bolka V w 1460, zamek w Chrzelicach otrzymał Mikołaj I opolski na okres od 1460 do 1476. Po tym okresie, zamkiem rządzili dwaj nieznani z imienia bracia. Byli rycerzami trudniącymi się łowiectwem, lecz przez kłopoty finansowe zaczęli zajmować się rozbojem wraz z kilkudziesięcioma towarzyszami. Kres rozbojom dali na początku XVI wieku Piastowie opolscy, którzy następnie posiadali zamek do 1532. W czasie potyczki ze zbójnikami zburzona została do połowy okrągła wieża zamkowa.
Podwładni księcia Jana II Dobrego wyremontowali wolnostojącą wieżę zamku, budynki i otaczający je mur. Dobudowali ośmioboczną wieżę z osłoniętym chodnikiem strzelnicowym, pokrytą namiotowym dachem. Wzmocnili i pogłębili fosę otaczającą zamek. W latach 1516–1517 starostą Chrzelic był Jan Stolcz z Gostomi. Po śmierci Jana II Dobrego, zamek w Chrzelicach wraz z dobrami przejął król Ferdynand I Habsburg. Tytułem zastawu, dobra objął margrabia Jerzy Hohenzollern. W 1538 mianował na stanowisko starosty Chrzelic Heinricha Pagrell von Jägel. Cesarz Maksymilian II uczynił zamek w Chrzelicach dobrem zastawnym dla Wacława Posadowskiego na lata 1557–1578.