Konflikt z reżimem Grossman brał udział w tworzeniu Czarnej Księgi powstałej z inicjatywy Żydowskiego Komitetu Antyfaszystowskiego w celu dokumentowania zbrodni Holocaustu. Powojenne wycofanie Czarnej Księgi przez władze sowieckie wstrząsnęło nim do głębi i spowodowało, że zaczął podawać w wątpliwość swe oddanie dla reżimu stalinowskiego. Początkowo cenzorzy zażądali dokonania w tekście Księgi zmian informacji, że zbrodnie miały specyficznie antysemicki charakter, a także na temat roli, jaką odgrywali u boku Niemców ukraińscy policjanci. Wreszcie, w roku 1948, sowiecka edycja Księgi została całkowicie zastopowana. Poeta , przyjaciel Grossmana, twierdził, że stalinowska powojenna kampania antysemicka złamała wiarę Grossmana w doskonałość sowieckiego systemu:
W 1946… spotkałem się z przyjaciółmi, Inguszem i Bałkarem, których rodziny w czasie wojny zostały deportowane do Kazachstanu. Powiedziałem o tym Grossmanowi, a on na to: „Może to było konieczne z przyczyn wojskowych.” Zapytałem więc: „…Powiedziałbyś tak samo, gdyby to dotyczyło Żydów?” Powiedział, że tak by się nigdy nie stało. W kilka lat później w „Prawdzie” ukazał się jadowity artykuł wymierzony w „kosmopolitów”. Grossman napisał do mnie, że jednak miałem rację. Przez wiele lat Grossman nie czuł się wcale Żydem.