Za czasów Królestwa Kongresowego mieścił się tam główny areszt śledczy dla województw warszawskiego i kaliskiego. W 1833 przeniesiono go do Arsenału, a następnie na Pawiak. Budynki zostały sprzedane Józefowi Wilsonowi, który je przebudował. Do 1921 połączone budynki pełniły funkcję kamienicy czynszowej, kilkakrotnie zmieniając właściciela. Zamieszkiwała je uboższa ludność, głównie żydowska. W 1921 zespół stała się własnością Ministerstwa Rolnictwa i po remoncie został przeznaczony na mieszkania dla jego pracowników.
W czasie powstania warszawskiego od 8 do 28 sierpnia 1944 zespół stanowił bastion obrony Starego Miasta od strony Wisły. Budynek został spalony i poważnie uszkodzony.
Brama Mostowa wraz z budynkiem więzienia zostały odbudowane w latach 1961–1965 według projektu Jana Grudzińskiego. Przywrócono pierwotny wygląd budynku m.in. odtworzono gotycki łuk bramny w elewacji wschodniej.
W 1994 na ścianie frontowej budynku odsłonięto tablicę upamiętniającą żołnierzy batalionu „Dzik”, którzy walczyli w tym miejscu w powstaniu warszawskim.