Wkrótce zmieniono nazwę jednostki na 251. Kokutai i wysłano na Rabaul, uzbrojoną w 9 samolotów J1N1-C, z których dwa zostały przerobione na myśliwce nocne z systemem działek strzelających pod kątem. Jedna z przerobionych maszyn rozbiła się, więc w rezultacie do działań operacyjnych w ramach 251 Eskadry weszło tylko osiem maszyn, w tym jedna myśliwska. Podczas bojowych lotów nocnych przebudowany na myśliwski J1N1-C zestrzelił sześć bombowców wroga. Po przemianowaniu jednostki na dywizjon myśliwców nocnych wycofano z jego składu samoloty myśliwskie Mitsubishi A6M2, planując wprowadzenie łącznie 24 maszyn Nakajima J1N1-C. Ostatecznie w skład jednostki przebazowanej na wyspę Truk w archipelagu Karolinów weszło tylko dziewięć maszyn. W dniu 17 i 18 lutego 1944 roku, podczas nalotu bazujących na lotniskowcach samolotów amerykańskich zestrzelono jedną maszynę japońską, a sześć zniszczono na ziemi. Pozostałe 2 zostały ciężko uszkodzone. Po wyremontowaniu uszkodzonych maszyn i uzupełnieniu do stanu osiem egzemplarzy, jednostka została kolejny raz zreorganizowana i ostatecznie włączona do 153. Kokutai.
Pierwszą jednostką wyposażoną w myśliwce nocne J1N1-S Gekko była 321. Kokutai, na której stanie miało się znaleźć łącznie 70 maszyn Gekko, jednak nigdy takiej liczby nie osiągnięto.