Przebudowany pałac przejął nazwę wcześniejszego budynku.
W listopadzie 1841 przed pałacem odsłonięto pomnik siedmiu polskich oficerów-lojalistów, zabitych 29 listopada 1830 przez powstańców za odmowę przejścia na ich stronę, zaprojektowany przez Antonia Corazziego. W latach 1894–1912 na placu wzniesiono monumentalny sobór św. Aleksandra Newskiego z 70-metrową dzwonnicą od strony ulicy Królewskiej. W związku z budową świątyni pomnik oficerów-lojalistów przeniesiono na plac Zielony.
W 1864 spadkobiercy Iwana Skwarcowa sprzedali pałac władzom wojskowym. Do 1915 gmach zajmowała armia Imperium Rosyjskiego – znajdowało się w nim rosyjskie Dowództwo III Warszawskiego Okręgu Wojskowego.
Okres międzywojenny i II wojna światowa; zniszczenie pałacu
thumb|Defilada wojska niemieckiego po kapitulacji miasta we wrześniu 1939 thumb|Ocalały fragment arkad pałacu Saskiego po wysadzeniu w 1944 Po odzyskaniu przez Polskę niepodległości w 1918 roku w pałacu Saskim ulokowano Sztab Generalny Wojska Polskiego. Działał w nim także zespół pod dowództwem podpułkownika Jana Kowalewskiego, który złamał bolszewickie szyfry, co przyczyniło się do zwycięstwa nad Armią Czerwoną w wojnie z 1920 roku. W 1923 roku przed budynkiem od strony placu Saskiego ustawiono pomnik księcia Józefa Poniatowskiego.