W okresie wielkiej czystki 18 lipca 1937 aresztowany przez NKWD. 26 listopada 1937 skazany na śmierć przez Kolegium Wojskowe Sądu Najwyższego ZSRR z zarzutu o zdradę Ojczyzny, terroryzm i działalność kontrrewolucyjną, stracony tego samego dnia. Ciało skremowano w krematorium na Cmentarzu Dońskim, prochy pochowano anonimowo (obecnie mogiła zbiorowa nr 1 na Nowym Cmentarzu Dońskim).
Zrehabilitowany postanowieniem Kolegium Wojskowego Sądu Najwyższego ZSRR 4 listopada 1954.
Rodzina
7 listopada 1913 roku poślubił w Krakowie Gitel Kelner (Gizela Hanecka) wyznania mojżeszowego. Sam Jakub wylegitymował się w chwili ślubu świadectwem bezwyznaniowości.
Jego żona Gizela (22.08.1889—10.12.1937), pracownik Instytutu Marksa-Engelsa-Lenina, aresztowana przez NKWD w dwa dni po aresztowaniu męża (20 lipca 1937), skazana na śmierć i stracona 10 grudnia 1937 (w dwa tygodnie po skazaniu i straceniu męża), zrehabilitowana 4 grudnia 1954Ганецкая Гиза Адольфовна.
Jego syn Stanisław (1913-1938), alpinista i słuchacz czwartego roku Akademii Inżynieryjnej Sił Powietrznych ZSRR również aresztowany podczas "wielkiej czystki", skazany przez Kolegium Wojskowe SN ZSRR na śmierć z zarzutu szpiegostwa, stracony i pochowany anonimowo w miejscu egzekucji Kommunarka 14 czerwca 1938, zrehabilitowany 4 grudnia 1954 Ганецкий Станислав Яковлевич.