W 1973 przeszedł na emeryturę, nie zaprzestając aktywności społecznej. W 1980 przeniósł się z żoną do Warszawy. Przygotowywał wspólnie z Andrzejem Kunertem wydanie Wspomnień i notatek autobiograficznych: 1906–1939 swojego dawnego dowódcy, Stefana Roweckiego (ukazały się drukiem w 1988), a w zbiorze Stefan Rowecki w relacjach (1988) znalazły się wspomnienia Szyrmera Mój dowódca „Grot”-Rowecki. Szyrmer zmarł 1 grudnia 1985.
Od 1946 był żonaty z Haliną Donimirską (Halszką, 1918–2008), córką Witolda, działaczką społeczną na Warmii, Mazurach i Powiślu, uczestniczką Powstania warszawskiego. Mieli troje dzieci: synów Jacka (ur. 1947) i Janusza (ur. 1950) oraz córkę Wandę (ur. 1948, po mężu Majkowską). Stryjecznym bratem Józefa jest Jerzy Szyrmer (ur. 1930), profesor hodowli i uprawy roślin.
Awanse służbowe podporucznik – 15 sierpnia 1928 ze starszeństwem z dniem 15 sierpnia 1928 i 6 lokatą w korpusie oficerów piechoty porucznik – ze starszeństwem z dniem 1 stycznia 1931 w korpusie oficerów piechoty
Przypisy
Bibliografia