Syn Silberberga, Alfred, został aresztowany podczas "nocy kryształowej" w 1938 roku, a następnie osadzony w obozie koncentracyjnym w Buchenwaldzie i uwięziony na osiem tygodni. Z obozu został wypuszczony pod warunkiem opuszczenia Niemiec. W 1939 roku wyjechał on wraz z żoną Gertą z domu Bartnitzki do Wielkiej BrytaniiFundacja Urban Memory – Kolekcjoner Max Silberberg.
Firma Weissenberg Silberberga została poddana procesowi aryzacji i przekazana lub sprzedana przemysłowcowi Carlowi Wilhelmowi z Wrocławia, a majątek firmy pochłonęły różne nakładane podatki. Według Moniki Tatzkow ówczesny przewodniczący Rady Miejskiej Wrocławia zmusił Silberberga do zaniżenia wartość swojej firmy, a ta następnie została jeszcze bardziej obniżona przez lokalną partię nazistowską. Ostatecznie wartość firmy spadła o trzy i pół raza, czyli do 1,83 mln marek niemieckich.
Działalność kolekcjonerska
Na początku XX wieku Max Silberberg zgromadził jedną z najważniejszych prywatnych kolekcji sztuki w Cesarstwie Niemieckim. Historycy sztuki szacują kolekcję dzieł sztuki Silberberga na około 250 obrazów, rysunków i rzeźb, ze szczególnym uwzględnieniem sztuki niemieckiej i francuskiej z XIX i początku XX wieku.