Ostatnia lustracja przed III rozbiorem Polski, sporządzona w 1789 roku, stwierdziła, że na placu zamkowym nie było już żadnej zabudowy. Drewniane budynki rozebrano kilka lat wcześniej, a sądy ziemski i grodzki odbywały posiedzenia w klasztorachArchiwum Główne Akt Dawnych, Archiwum Skarbu Koronnego, oddz. XLVI, sygn. 20, Lustracje województwa wołyńskiego: powiat łucki, włodzimierski i krzemieniecki, 1789; por. Wiktor Pawłowski, „Zamek Włodzimierski (Królewski)”, „Ziemia Wołyńska”, 1939, nr 3...
Masowe groby z okresu II wojny światowej W okresie zaboru rosyjskiego w obrębie dawnych wałów zamkowych wzniesiono budynek więzienia. Osadzano w nim m.in. uczestników powstania styczniowego 1863 r. Po odzyskaniu przez Polskę niepodległości i włączeniu Włodzimierza do II Rzeczypospolitej więzienie nadal funkcjonowało. Po rozpoczęciu okupacji miasta przez Związek Radziecki we wrześniu 1939 roku obiekt przejął NKWD, natomiast podczas okupacji niemieckiej był użytkowany przez niemieckie służby bezpieczeństwa. Po ponownym zajęciu miasta przez ZSRR budynek był wykorzystywany przez NKWD do 1954 roku. W 1957 roku urządzono w nim szpital przeciwgruźliczy, funkcjonujący do 1994 roku.