31 maja usunięto go z wojska, zaś dzień później także z partii.
Poddany brutalnemu śledztwu, przyznał się do prowadzenia w Armii Czerwonej działalności kontrrewolucyjnej, dążenia do restauracji kapitalizmu z pomocą Niemiec i Japonii, szkodnictwa w zakresie produkcji i magazynowania broni oraz techniki wojskowej, szpiegostwa i wydania tajemnicy wojskowej. Został również obciążony wymuszonymi zeznaniami aresztowanego jeszcze przed nim dowódcy 8 Samodzielnej Brygady Zmechanizowanej komkora Dmitrija Szmidta, o którego zwolnienie bez powodzenia się starał wiosną 1937 r. Z kolei wymuszone zeznania Jakira ze śledztwa stały się jedną z podstaw do oskarżenia o działalność antyradziecką Wsewołoda Bałyckiego, ludowego komisarza spraw wewnętrznych Ukraińskiej SRR, aresztowanego w lipcu 1937 r. Bałycki, również poddany brutalnemu śledztwu, zeznał w lipcu 1937 r. (a więc już po śmierci Jakira), jakoby obaj tworzyli ukraińskie centrum ogólnowojskowego spisku antyradzieckiego. Po aresztowaniu Jakira w Kijowskim Okręgu Wojskowym nastąpiła cała seria zatrzymań dowódców i oficerów politycznych wysokich stopni. W żadnym okręgu wojskowym ZSRR nie dokonano wówczas tak dużej liczby aresztowań.