W pierwotnym układzie architektonicznym centralna, parterowa część budynku była flankowana piętrowymi skrzydłami-ryzalitami, nakrytymi dwuspadowymi dachami z okapami. Charakterystycznym elementem była wysoka wieża w bocznej elewacji, trójkondygnacyjna, zwieńczona dachem wiciowym, nawiązująca do średniowiecznych tradycji rycerskich.

Podczas II wojny światowej, gdy pałac stał się rezydencją kreishauptmanna powiatu grójeckiego Wernera Zimmermanna, dokonano zmian architektonicznych. Budynek został nadbudowany, a wnętrza częściowo przekształcono w stylu odpowiadającym estetyce III Rzeszy. Na kamiennych kominkach umieszczono monogramy WZ oraz datę: „1940".

W latach 40. XX w. kiedy Pałac był w posiadaniu NKWD a następnie polskich służb wojskowych, obiekt przeszedł istotne zmiany architektoniczne: w części środkowej dobudowano piętro, a wnętrza zmodernizowano, usuwając oryginalne detale architektoniczne.