w rezultacie był podejrzewany o pracę dla polskiego wywiadu. Według relacji bundysty Abrama Feinsilbera (ewakuowanego z Polskimi Siłami Zbrojnymi) Ehrlich spędził pierwszy miesiąc w celi izolacyjnej i był przesłuchiwany każdej nocy. Pod naciskiem śledczych pomiędzy listopadem 1939 a majem 1941 spisał historię Bundu w latach 1918–1939 (maszynopis odnalazła później niemiecka historyczka ). Według własnego pisma do Prezydium Rady Najwyższej ZSRR jeszcze w więzieniu, około września 1940, zaproponował niezależnie od Wiktora Altera utworzenie Żydowskiego Komitetu Antyhitlerowskiego dla prowadzenia agitacji w krajach zachodnich (przede wszystkim w Stanach Zjednoczonych) na rzecz wsparcia ZSRR w razie przewidywanego ataku III Rzeszy.
Po ataku III Rzeszy na ZSRR Ehrlich został ewakuowany 28 czerwca 1941 do więzienia w Saratowie, gdzie 2 sierpnia tego samego roku został skazany na śmierć po raz pierwszy przez miejscowy trybunał wojskowy sił zbrojnych NKWD (według innej wersji przez „trójkę” NKWD) na podstawie art. 58 ust. 1a Kodeksu Karnego RFSRR o zdradzie ojczyzny, w tym poprzez ucieczkę za granicę.