Niektórzy niemieccy politycy i intelektualiści, m.in. były kanclerz Gerhard Schröder, Hans-Dietrich Genscher oraz pisarz – laureat Nagrody Nobla Günter Grass sprzeciwili się budowie Centrum według koncepcji Związku Wypędzonych i proponowali, żeby Centrum powstało jako ośrodek dokumentujący ogólnie zjawiska wysiedleń (nie szczególnie Niemców) i żeby znajdowało się na terenach, objętych kiedyś wysiedleniami, np. we Wrocławiu. Tę koncepcję poparła strona polska. Ówczesny premier Bawarii i przewodniczący CSU Edmund Stoiber sprzeciwił się tej propozycji, twierdząc, że tylko stolica Niemiec jest odpowiednim miejscem lokalizacji Centrum.
Były minister spraw zagranicznych Joschka Fischer uważał, że Centrum poważnie zaszkodzi relacjom polsko-niemieckim. Premier Brandenburgii Matthias Platzeck sprzeciwił się propagowaniu przez Centrum „niemieckiej wersji historii”.
Opór przeciwko budowie Centrum istnieje również wśród niemieckich lewicowych historyków, którzy sprzeciwiają się propagowaniu jednostronnej wizji niemieckiej historii i pomijaniu kontekstu tych wydarzeń.