W połowie XVII wieku w Arsenale przechowywano ok. 100 dział oraz broń ręczną. We wrześniu 1655 budynek został zdobyty przez Szwedów. W 1702 został częściowo zniszczony wskutek wybuchu prochu wywołanego uderzeniem pioruna. Zniszczeniu uległo skrzydło od strony ul. Nalewki. W 1808 roku książę Józef Poniatowski zorganizował w budynku Arsenału Szkołę Artylerii oraz Saperów Księstwa Warszawskiego. W 1809 stał się on pierwszą siedzibą Szkoły Aplikacyjnej Artylerii i Inżynierów. W 1816 gmach został rozbudowany.
W nocy z 29 na 30 listopada 1830 roku ludność Warszawy zdobyła budynek, wspierając tym samym rozpoczynające się powstanie listopadowe. Po upadku powstania władze rosyjskie ulokowały w budynku więzienie karne. W budynku więzienia funkcjonował m.in. dom modlitwy dla więźniów wyznania mojżeszowego.
W 1938 roku zakończono przebudowę gmachu na siedzibę Archiwum Miejskiego Warszawy. W trakcie prac dodano podcienia wraz z chodnikiem od strony ul. Nalewki. Na ścianie od tej ulicy umieszczono również sgraffito z podobiznami Władysława IV i Józefa Piłsudskiego.
Budynek został uszkodzony w czasie obrony Warszawy we wrześniu 1939 roku.