Bibliotekę przekazano do seminarium w Janowie Podlaskim. Opuszczone budynki szybko uległy zniszczeniu (niektóre z nich czasowo używał rosyjski garnizon w mieście, co nie sprzyjało poszanowaniu substancji budowlanej). Częściowo remontowano je w drugiej połowie XIX wieku. Po II wojnie światowej zostały znacząco przebudowane na potrzeby urzędów i instytucji miejskich. Największej przebudowie uległo skrzydło północne, w którym zmieniono kształt okien, jak również nadbudowano kondygnację.

Okupacja niemiecka i PRL Podczas okupacji niemieckiej korpus główny budynku był siedzibą żandarmerii. W latach 1944–1950 w podziemiach zespołu mieścił się areszt Urzędu Bezpieczeństwa, w którym przetrzymywano, torturowano i mordowano działaczy polskiego podziemia niepodległościowego. Istnienie tego obiektu upamiętnia zespół tablic pamiątkowych od strony ul. Kościelnej, spośród których jedna poświęcona jest Witoldowi Pileckiemu, zaś druga Stanisławowi Ostwindowi-ZuzdzeZespół tablic pamiątkowych in situ..

Czasy współczesne Obecnie budynek ponownie jest własnością Kościoła katolickiego.