W 1927 część gospodarcza i ziemia majątku w Silginach przeszły na własność Wschodniopruskiego Towarzystwa Ziemskiego. Pałac wraz z parkiem (łącznie osiemdziesiąt mórg) w tym czasie należał do spadkobierców von Kalcksteina z Romitten. Nieco później zespół pałacowy przeszedł na własność Monfreda Pehlke, reprezentującego organizację „Bund der Gothen”. Po dojściu w Niemczech Hitlera do władzy stowarzyszenie to zostało wywłaszczone a pałac został przejęty przez NSDAP. Najpierw urządzono tu ośrodek szkoleniowy dla Hitlerjugend a później, po przeniesieniu szkoły do pobliskich Krelikiejm, w pałacu zlokalizowano dom starców (funkcjonował aż do 1945).
Plan sytuacyjny z 26 stycznia 1945 odnotowuje w Silginach 33 zabudowania, łącznie z pałacem. Do 1945, poza rolnikami, warsztaty w Silginach mieli: rymarz, piekarz, krawiec, kowal. Przy kuźni mieściła się remiza strażacka. We wsi mieścił się także sklep pasmanteryjny oraz sklep ogólny z towarami kolonialnymi, mieszczący się zajeździe (gasthaus, obecnie dom p. Branickiego nr 13). W szkole nauczycielami byli: Erich Motzkus oraz pani Rappel. Budynek szkolny ze ścianami z muru pruskiego położony był wśród zieleni wysokiej. Po wkroczeniu Armii Czerwonej niektóre budynki zostały spalone (znaleziono wewnątrz portrety Hitlera). W czasie wojny w pałacu był przytułek dla psychicznie chorych.