W 1439 kapituła uzyskała teren na własność i zarządzała nim do sekularyzacji w 1810.
W 1885 w ramach regulacji geometrycznej okolic dzisiejszego pl. Bema (w tym czasie powstały też pobliskie Mosty Młyńskie) przebito przez dawny teren zamku istniejącą do chwili obecnej ulicę św. Marcina, nadając też częściowo przekształconym posesjom dzisiejszą numerację. Na zachód od zamku, a także w jego zachodniej i południowej części wzniesiono wysokie kamienice. Na wysokości kościółka św. Marcina linia zabudowy domów nr 7 i 9 wycofana była ukośnie wzdłuż dawnego muru obronnego (równolegle do rzeki), a na posesji pl. Kościelny 10 sięgała znów ulicy, tak że wokół kościółka powstał swoisty placyk.
W czasie oblężenia Wrocławia w 1945 zabudowa terenu zamkowego uległa poważnym zniszczeniom. Przede wszystkim zniszczone zostały domy mieszkalne południowej strony oraz niektóre budynki po stronie północnej ul. św. Marcina. Silnie zniszczony został kościółek św. Marcina, z którego pozostały wypalone mury. W latach 60. odbudowano w zmienionej formie kościół i usunięto ruiny kamienic. Dało to okazję do badań archeologicznych terenu zamkowego, prowadzonych wpierw przez Rudolfa Jamkę i Wojciecha Kočkę, a później Tadeusza Kozaczewskiego, Olgierda Czernera i Edmunda Małachowicza.