11 czerwca 1937 r. Iona Jakir został postawiony przed Sądowym Trybunałem Specjalnym Sądu Najwyższego ZSRR, pod przewodnictwem Wasilija Ulricha, razem z siedmioma innymi dowódcami: Michaiłem Tuchaczewskim, Robertem Ejdemanem, Augustem Korkiem, Witowtem Putną, Witalijem Primakowem, Borisem Feldmanem oraz Ijeronimem Uborewiczem (tzw. sprawa Tuchaczewskiego). Z zarzutu o udział w spisku wojskowym w Armii Czerwonej i przygotowaniach do obalenia władzy sowieckiej poprzez powstanie zbrojne i klęskę ZSRR w przyszłej wojnie (z art. 58 radzieckiego kodeksu karnego) wszyscy zostali skazani na śmierć. Został rozstrzelany następnego dnia. Ciało skremowano w krematorium na Cmentarzu Dońskim, prochy pochowano anonimowo (ob. mogiła zbiorowa nr 1). Proces pokazowy Tuchaczewskiego, Jakira i pozostałych dowódców wywarł ogromne wrażenie w całym ZSRR, gdyż straceni oficerowie należeli do czołowych dowódców Armii Czerwonej, najsłynniejszych czerwonych dowódców okresu wojny domowej. Był to początek wielkiej czystki w Armii Czerwonej.
Zrehabilitowany 31 stycznia 1957 postanowieniem Kolegium Wojskowego SN ZSRR.