W okresie II wojny światowej koszary były zajęte przez siły niemieckie. W czasie powstania warszawskiego podjęto kilka nieudanych prób ich zdobycia. W trakcie powstania i zdobywania Warszawy przez siły polsko-radzieckie, Duże Koszary Ułańskie i Małe Koszary Ułańskie zostały bardzo silnie zniszczone, a po wojnie w większości rozebrane. Zachowały się (2019) jedynie pojedyncze obiekty: wartownia przy ul. Szwoleżerów 4 (szkoła), świetlica-izba chorych przy ul. Dragonów 6A (służba zdrowia), blok FKW z pamiątkową tablicą fundacyjną przy ul. Szwoleżerów 7 (mieszkania), koszarowiec przy ul. Szwoleżerów 7A (mieszkania) oraz kościół przy ul. Szwoleżerów 2 (katedra św. Ducha). W kościele zachowała się przedwojenna tablica pamiątkowa, a na terenie kościelnym zainstalowano tablice informacyjne o 1 pułku szwoleżerów i jego koszarach. Stoi tam również kamień upamiętniający bohatera narodowego Finlandii, marsz. Carla Gustafa Mannerheima, który w latach 1911–1914 dowodził stacjonującym w koszarach Lejb-Gwardyjskim Pułkiem Ułanów.