Miał także poprzez Wacława Ciesielskiego dojścia do ogólnopolskiej konspiracji Związku Walki Zbrojnej i Organizacji Wojskowej Stronnictwa Narodowego. Na przełomie lat 1940–1941 spotkał się w rejonie Bytowa z przywódcą Tajnej Organizacji Wojskowej „Gryf Kaszubski”, por. Józefem Dambkiem. Objął ją swoim patronatem, co umożliwiło jej szybki rozwój organizacyjny w terenie. 7 lipca 1941 r. na tajnym zebraniu w Czarnej Dąbrowie został wybrany I prezesem Rady Naczelnej nowo powstałej organizacji TOW „Gryf Pomorski”, co bardzo podniosło jej prestiż w oczach mieszkańców Pomorza. Istnieją rozbieżności wśród badaczy, czy był jej faktycznym przywódcą, czy tylko honorowym patronem, a w rzeczywistości kierował nią por. J. Dambek jako jego zastępca i kierownik Głównego Wydziału Organizacyjnego. Na pewno wycofał się z przywództwa TOW „Gryf Pomorski” wiosną 1943 r., kiedy doszło do waśni i samosądów wewnątrzorganizacyjnych. Nadal jednak utrzymywał liczne kontakty konspiracyjne. W celu nadania większego znaczenia ks. J. Wryczy oraz całej organizacji w 1944 r. rozpowszechniono wśród miejscowej ludności informację, że został przez władze polskie w Londynie mianowany na stopień generała, co nie było jednak prawdą. Latem 1944 r.