Zamek miał dwie kondygnacje i posiadał podpiwniczenie. Reszta zabudowań była prawdopodobnie drewniana. Murowane zabudowania zamkowe połączone były murem z bramą i mostem zwodzonym. Zamek posiadał także wolnostojącą kaplicę. W XIV wieku obwarowania miejskie zostały zastąpione murami z bramami miejskimi, z których przetrwała jedynie Brama Wrocławska. W latach 1343–1345 Konrad I zaangażował się w walki z królem Kazimierzem Wielkim, którego wojska w ramach odwetu za pomoc królowi czeskiemu Janowi Luksemburskiemu najechały Oleśnicę i zajęły zamek w 1345 roku.
W okresie wojen husyckich Piastowie oleśniccy opowiedzieli się po stronie stronnictwa katolickiego. W związku z tym w 1432 roku jedna z wypraw Prokopa Wielkiego dotknęła Oleśnicę. Husyci zdobyli miasto, częściowo je niszcząc i grabiąc. Wówczas to zamek miał doznać niewielkich zniszczeń lub miał zostać częściowo spalony. Po zniszczeniach dokonanych podczas ataku husytów zamek został rozbudowany. Nadbudowano skrzydło mieszkalne i umieszczono przy nim przypory. Zwiększono obszar przedzamcza, umożliwiając rozbudowę zabudowań gospodarskich.