W latach 1795–1796 nieco wtedy zaniedbany dom Memhardta został poddany gruntownej renowacji, po czym w 1799 roku urządzono w nim siedzibę dowódcy garnizonu berlińskiego. W latach 1873–1874 przeprowadzono przebudowę budynku, w ramach której usunięto dach czterospadowy i wybudowano w jego miejsce dodatkową kondygnację. Fasada gmachu zyskała neorenesansowy wygląd, zaś znajdujące się na niej boniowanie zostało rozciągnięte na wszystkie piętra. Na zwieńczeniu narożników ryzalitów budynku umieszczono osiem rzeźb orłów, wykonanych z terakoty.
thumb|left|Budynek w 1910 roku Podczas okupacji Berlina przez wojska francuskie w 1806 roku budynek był miejscem działalności pisarza Marie-Henriego Beylego (znanego pod pseudonimem „Stendhal”), pełniącego wtedy funkcję komisarza wojennego Francuzów.
Ostatnim dowódcą garnizonu, który rezydował w budynku był generał Paul von Hase, będący uczestnikiem spisku zakończonego ostatecznie nieudanym zamachem na Adolfa Hitlera 20 lipca 1944 roku. Po tym wydarzeniu generał został aresztowany, a następnie po pokazowym procesie stracony w więzieniu Plötzensee.