Józef Dylkiewicz zajął się działalnością kulturalno-oświatową. Utworzył 16 ruchomych bibliotek, współorganizował oddział Towarzystwa Rozwoju Ziem Zachodnich w Tczewie. Przyczynił się do powstania monografii miast: Tczewa, Gniewa i Pelplina. Był jednym z założycieli Towarzystwa Miłośników Ziemi Tczewskiej. W 1966 przeszedł na emeryturę, pracując jeszcze do 1972 jako bibliotekarz. Aktywny pozostał do później starości, angażując się w stowarzyszeniu „Wisła-Odra” oraz w środowisku kombatanckim.
Otrzymał wiele odznaczeń, w tym Order Odrodzenia Polski.
Został pochowany na cmentarzu komunalnym w Tczewie, sektor G1, rząd 4, nr 10.
20 marca 2006 roku, z okazji stulecia jego urodziń, w kościele Podwyższenia Krzyża Świętego w Tczewie, została odsłonięta tablica upamiętniająca zmarłego nauczyciela-poetę.
Życie prywatne 27 czerwca 1937 ożenił się z Julianną Adruszkiewicz (1905–1996)Nekrolog Dziennik Bałtycki, 1996, nr 259, s. 4, z którą wcześniej razem jako niemal równieśnik kończył gimnazjum im. Adama Mickiewicza w Wilnie. Z małżeństwa narodziła się trójka dzieci: Krystyna (ur. 1938, nauczycielka), Eugeniusz Iwo (ur. 1944, żołnierz, fotograf Tczewa) i Zofia Maria (ur.