Późne lata Po przywróceniu tradycyjnego porządku konstytucyjnego w Szwajcarii Zeltner ponownie zaangażował się w życie polityczne Solury. W latach 1814–1830 pełnił funkcję członka Wielkiej Rady kantonu, kontynuując rodzinną tradycję w służbie lokalnej administracji.
Peter Josef Zeltner był członkiem masonerii. Zmarł w Solurze 22 stycznia 1830 roku w wieku 64 lat, pozostawiając po sobie dziedzictwo jako pionier szwajcarskiej dyplomacji i przyjaciel jednego z bohaterów polskiego narodu.
Rodzina Peter Josef Zeltner poślubił Angelica Charlotte Adelheid Drouin de Vandeuil de Lhuis, która pochodziła z francuskiej rodziny szlacheckiej.
Jego ojcem był sekretarz skarbcowy i burmistrz Solury Franz Xaver Josef Anton Zeltner (1734–1801), który zajmował wiele prestiżowych stanowisk w kantonie Solura, w tym funkcję wójta w Gösgen, Bechburgu i Flumenthal oraz mistrza mennicy. Jego matką była Isabelle de la Martinière pochodząca z arystokratycznej rodziny francuskiej.