Wozy wjeżdżały do ogromnej sieni, gdzie były wyładowywane.
W 1810 architekt Carl Ferdinand Langhans, syn Carla Gottharda Langhansa, rozbudował pałac o trójosiowe skrzydło zachodnie zdobione jońskimi pilastrami.
W 1890 Hermann Wolfram zaprojektował w stylu neobarokowym skrzydło południowe ze stajnią w przyziemiu, które zamknęło tym samym wewnętrzny dziedziniec pałacu. Ta niewielka stajnia dla koni, którą ulokowano w tej części jest jedynym zachowanym do dziś przykładem takiego pomieszczenia w budynku mieszkalnym na terenie miasta.
Na przestrzeni lat w pałacu gościli m.in. Johann Wolfgang von Goethe, Fryderyk Wilhelm IV, Ludwig Yorck von Wartenburg i Wilhelm I.
Za sprawą Gideona I von Wallenberga-Pachaly'ego (1817–1869), w 1841 nastąpił aliaż dwóch arystokratycznych rodzin – von Pachalych i von Wallenbergów, kiedy oficjalnie połączono oba nazwiska oraz rodowe herby.
Od 1884 do 1922 w budynku mieścił się również konsulat Królestwa Szwecji, gdzie przez 43 lata funkcję konsula pełnił Gotthard von Wallenberg-Pachaly (1850–1924).
W okresie od maja 1920 do końca 1945 pałac od rodziny dzierżawił Commerz- und Privat-Bank.