W Olsztynie był osobą znaną wielu jeszcze z okresu przedwojennego. 9 maja 1955 wraz z ks. Józefem Łapotem i kanclerzem kurii ks. Franciszkiem Bryksem dokonał ekshumacji ks. prof. Władysława Świtalskiego, którego zastrzelił w 1945 żołnierz Armii Czerwonej, a następnie pochowali godnie księdza na cmentarzu kanoników we FromborkuSłownik biograficzny Kapituły Warmińskiej, Olsztyn 1996, s. 243..
Obciążony nadmiarem funkcji i obowiązków złożył 10 grudnia 1956 prośbę o przejście na emeryturę i z dniem 1 lutego 1957 ustąpił z zajmowanych stanowisk. 29 grudnia 1956 został spowiednikiem nadzwyczajnym Zgromadzenia Sióstr św. Katarzyny Dziewicy i Męczennicy, wówczas często przebywał w domu prowincjalnym w Braniewie i w miejscowościach, w których posługiwały siostry. Na stałe zamieszkiwał w Elblągu. Mimo wielu chorób przyjął jeszcze w 1958 roku funkcję wizytatora diecezjalnego żeńskich zgromadzeń zakonnych. Zmarł 31 stycznia 1963 roku w Elblągu na skutek wylewu krwi do mózgu i tam został pochowany na cmentarzu. Po około 20 latach od śmierci księdza, wskutek starań jego rodziny, ekshumowano ks. Szarnowskiego i przeniesiono grób na cmentarz przy ul.