Relacje z Tadeuszem Kościuszką Po zakończeniu misji dyplomatycznej w 1800 roku Zeltner pozostał we Francji, gdzie założył bank. W latach 1801–1815 goszczył na swej posiadłości Berville koło Fontainebleau polskiego przywódcę narodowego Tadeusza Kościuszkę. Polski bohater, wycofując się z aktywności politycznej, znalazł w Zeltnerze i jego rodzinie nie tylko gościnność, lecz także przyjaźń.
W swoim testamencie z 5 maja 1798 roku, sporządzonym w Filadelfii przed wyjazdem do Europy, Kościuszko ustanowił jako egzekutora swojego amerykańskiego majątku Thomasa Jeffersona. Jednak w latach spędzonych u Zeltnerów Kościuszko sporządził kolejne testamenty, w których uwzględnił rodzinę szwajcarskiego dyplomaty. Po długich sporach prawnych, które trzykrotnie trafiły do Sądu Najwyższego Stanów Zjednoczonych, w 1852 roku orzeczono, że majątek Kościuszki przypadnie jego spadkobiercom w Polsce na podstawie testamentu z 1816 roku, który unieważniał wcześniejsze dyspozycje.
Po kongresie wiedeńskim w 1815 roku Kościuszko przeniósł się do Solury, gdzie zamieszkał u brata Petera Josefa, Xavera Zeltnera. Tam spędził ostatnie dwa lata życia do śmierci 15 października 1817 roku.