Miał być on otoczony palisada, wałem ziemno-drewnianym i fosą.
Natomiast informacja na temat murowanego zamku pochodzi z 1292 roku, kiedy książę Henryk V Brzuchaty rozstrzygał spór pomiędzy kanonikami regularnymi św. Augustyna a rycerzem Jakubem z Rakowa dotyczący praw do karczmy w Rakowie. W 1296 roku Henryk V zmarł, a władzę siłą przejął Henryk III głogowski. Oleśnica stała się grodem granicznym księstwa głogowskiego. Po śmierci Henryka III w 1309 roku księstwo głogowskie zostało podzielone pomiędzy pięciu synów. Część obejmująca Milicz, Trzebnicę, Namysłów i Oleśnicę przypadł Konradowi i Bolesławowi. Między 1312 rokiem a 1313 rokiem Oleśnica stała się własnością Bolesława. Ten okres przyjmuje się za początek księstwa oleśnickiego. Po śmierci Bolesława władzę w Oleśnicy objął Konrad (potem jako Konrad I oleśnicki). Murowany gotycki zamek, na planie nieregularnego czworokąta, powstał najprawdopodobniej w latach 30. XIV wieku, po 1323 roku, właśnie z inicjatywy księcia Konrada I oleśnickiego. Zamek powstały za czasów Konrada I składał się z wysokiej na około 20 metrów okrągłej, prostokątnego budynku mieszkalnego w południowo-wschodnim narożniku o wymiarach 45 m × 14 m i grubości murów ok. 2,5 m. Z racji na swoje wymiary był to jeden z największych budynków na Śląsku w tamtym czasie.