Służba wojskowa W latach 1902–1903 odbył służbę wojskową w armii pruskiej, w trakcie której został mianowany podporucznikiem. Był żołnierzem w 1 pułku huzarów w Miliczu. Do wybuchu wojny gospodarował w rodzinnym majątku. Stał na czele organizacji konspiracyjnej „Jedność”. Otrzymał awans na kapitana, ze starszeństwem od 1 września 1914 W dniu 29 listopada 1918 objął dowództwo nad oddziałem wojskowym stacjonującym w Jarocinie. Pod komendą Gorzeńskiego liczebność tej jednostki zaczęła gwałtownie wzrastać – w dniu wybuchu powstania (27 grudnia tego roku) oddział liczył ok. 600 ludzi.
Powstanie wielkopolskie W momencie wybuchu powstania Gorzeński przebywał w Poznaniu, dokąd udał się na powitanie Ignacego J. Paderewskiego. Postępy zrywu w Poznaniu sprawiły, że Gorzeński mógł powrócić do swojego oddziału w Jarocinie już w dniu 29 grudnia. Rankiem 1 stycznia 1919 dwie kompanie z jego oddziału udały się do Ostrowa Wielkopolskiego, gdzie po połączeniu sił z Batalionem Pogranicznym ze Szczypiorna, brały udział w przejęciu najważniejszych strategicznie punktów miasta – garnizon niemiecki oddał Ostrów bez walki. Jeszcze tego samego dnia Gorzeński wraz z kompaniami powrócił do Jarocina i na tamtejszym Rynku wziął udział w uroczystym przejęciu władzy w mieście.