Do Polski powrócił dopiero w 1922 r.
II Rzeczpospolita Gdy Tyszka wrócił do ojczyzny, został powołany do składu Komisji Mieszanej do spraw repatriacji z ZSRS, której od 1923 r. pełnił funkcję przewodniczącego. Tego samego roku został mianowany ministrem kolei żelaznych. Prawdopodobnie jego kandydatura została zaproponowana przez Juliana Zdanowskiego. Ponadto Tyszka jako jedyny został zaakceptowany przez Polską Partię Socjalistyczną, który sprzeciwiała się dalszemu kierowaniu resortem przez Andrzeja Nosowicza. Kolejną sprzyjającą okolicznością była przyjaźń z premierem Władysławem Grabskim.
Na stanowisku ministra kilkukrotnie spotykał się z ruchem związkowym (Związek Zawodowych Pracowników Kolejowych RP - ZKK), zredukował zatrudnienie na kolei, doprowadził do uzyskania dodatniego salda budżetu kolejowego. Ponadto doprowadził do przyjęcia ustawy z 12.06.1924 r. o zakresie działania ministra kolei. Jej następstwem było przekształcenie resortu w ministerstwo kolei, którego został szefem.
Kontynuując swoją misję w resorcie, Tyszka skoncentrowany był na pracach związanych z uruchomienie połączenia kolejowego polskiej (tj. wschodniej) części Górnego Śląska i Gdyni. W dalszym okresie oddano do użytku pięć odcinków linii kolejowych m.in.