Wymagano, aby nowa maszyna mogła lecieć z maksymalną prędkością rzędu 260 km/h, posiadać pułap praktyczny 2000 – 3000 metrów, ładunek bomb rzędu 500 kg, mieć możliwość kontynuowania lotu poziomego z jednym niedziałającym silnikiem oraz możliwość dokonania skrętu podczas lotu w stronę niepracującego silnika.
Projekt thumb|left|Ki-2-II Na czele zespołu konstrukcyjnego stanął inżynier Nobushiro Nakata, ten sam, który odpowiadał również za projekt samolotu Ki-1. Przy projektowaniu nowej maszyny oparto się na konstrukcji K 37, jak również sięgnięto po doświadczenia zebrane podczas prac nad samolotami Ki-1 i Mitsubishi Ki-20. W porównaniu z bazową konstrukcją K 37 zmodyfikowano kadłub samolotu, planując w dziobie maszyny umieścić kulistą, obrotową wieżyczkę strzelecką, wymieniono gumową instalację amortyzatorów kół podwozia głównego zastępując ją instalacją hydrauliczno-pneumatyczną. Bez zmian pozostawiono skrzydła, modyfikując jedynie lotki samolotu. Skrzydła i usterzenie mogły zostać łatwo zdemontowane, aby umożliwić transport samolotu koleją. Instalacja paliwowa składała się z dwunastu zbiorników umieszczonych w centropłacie i kadłubie. W przypadku lotu z maksymalnym ładunkiem bombowym, napełniane miały być tylko zbiorniki znajdujące się w centropłacie.