Jan Karnicki zmarł w Ostrożanach 7 lutego 1970 i został pochowany na cmentarzu parafialnym.
Powtórny pochówek Z inicjatywy księży pochodzących z Miastka w roku 2010 został powołany Komitet honorowy (w jego skład weszli: ks. kanonik Ryszard Łopaciuk, dziekan dziekanów diecezji koszalińsko-kołobrzeskiej, przewodniczący komitetu; ks. kanonik Józef Domińczak, proboszcz parafii Miłosierdzia Bożego w Miastku, wicedziekan miastecki; ks. kanonik Ludwik Musiał, dawny wikariusz i proboszcz miastecki; ks. prałat Ireneusz Maraszkiewicz; ks. dr Ireneusz Blank; ks. Piotr Flis; ks. dr Wojciech Wójtowicz i ks. Piotr Zieliński, sekretarz) w celu sprowadzenia ciała ks. Jana Karnickiego do Miastka. Powtórny pochówek kapłana miał miejsce 9 kwietnia 2011 na cmentarzu komunalnym w Miastku, gdzie ks. Karnicki spoczął w grobowcu razem ze swoim ojcem – Antonim (pochowanym w Miastku w lutym 1962).
Podczas tej uroczystości ks. Jan Karnicki nazwany został „pierwszym proboszczem – budowniczym Kościoła duchowego i materialnego, przewodnikiem dla kapłanów i wiernych Miastka oraz okolic, ojcem parafii miasteckich”.