Pierwszym księciem samodzielnego księstwa strzeleckiego został w 1323 Albert. Albert rozpoczął przebudowę swojego zamku oraz wzniósł fortyfikacje wokół grodu. Pierwsze wzmianki o murach obronnych pochodzą z 1327. Na jednym krańcu miasta stanęła brama opolska, na drugim krakowska. Częścią muru była południowa ściana zamku. Miasto otoczone było fosą z wyjątkiem południowej części, gdzie znajdował się wał i rozległe mokradła będące naturalną przeszkodą dla najeźdźców.
Przejęcie posiadłości przez Ferdynanda I Habsburga i ród Colonnów thumb|left|Zachowane pozostałości po murach obronnych miasta
Po śmierci Alberta jeszcze przez kilka lat w zamku mieszkała wdowa po nim – Agnieszka – aż do swojej śmierci w 1377. Następnie właścicielami księstwa strzeleckiego stali się Piastowie niemodlińscy, a po wygaśnięciu tej linii w 1382 – Piastowie opolscy. Po śmierci ostatniego z nich, Jana Dobrego, księstwo opolsko-raciborskie obejmujące Strzelce przypadło Ferdynandowi I Habsburgowi, który jednak oddał je w zastaw margrabiemu Jerzemu Hohenzollern-Ansbachowi. W związku z przejęciem sporządzono urbarz. Do 1534 zamek strzelecki składał się z kilkunastu pomieszczeń i miał co najmniej dwie kondygnacje. W najstarszej części stały kręcone drewniane schody.