W 1890 rada miasta zakupiła kolejny grunt pod koszary, w 1893 wybudowano na nim magazyn dla formacji Pospolitego Ruszenia (niem. Landsturm).
W 1900 rada miasta podjęła decyzję o budowie na Strusinie koszar dla szwadronu ułanów, dwa lata później zakupiła na ten cel grunt o powierzchni 3,1 ha w sąsiedztwie koszar Obrony Krajowej. Budowa koszar kawalerii zakończyła się jesienią 1903 roku. Dwa lata później przeniesiono tu również stajnie z koszar przy ul. Bandrowskiego. mały|Koszary kawaleryjskie im. Dezyderego Chłapowskiego W listopadzie 1918 decyzją rady miejskiej kompleks koszar dolnych otrzymał imię Tadeusza Kościuszki. W okresie II RP dzieliły się na trzy części:
Koszary kawaleryjskie im. Dezyderego Chłapowskiego – znajdowały się w północnej części kompleksu. Składały się z jednego piętrowego (później dobudowano drugie piętro) budynku żołnierskiego o pojemności dwóch szwadronów, dwóch dużych stajni oraz kilku mniejszych budynków. Pojemność koszar szacowano na 162 ludzi i 220 koni. Koszary im. Jana Tarnowskiego Koszary im. Zygmunta Chmielińskiego
W Koszarach Dolnych zachowały się niemal wszystkie budynki, choć niektóre mocno przebudowane. Większość z nich pełni funkcje edukacyjne, usługowe i handlowe