Jako Generalny Poczmistrz – von Stephan zlecił m.in. budowę 2000 nowych budynków pocztowych na terenie całej ówczesnej Rzeszy. Jeden z tych budynków został uroczyście przekazany do eksploatacji w dniu 20 listopada 1879 roku w rodzinnym mieście von Stephana – Stolp-in-Pommern (dzisiejszym Słupsku). Budynek ten istnieje i służy do dziś, stanowiąc piękny i użyteczny „pomnik” najsławniejszego obywatela miasta.
Osobę Generalnego Poczmistrza uhonorowało też DGzRS (Niemieckie Towarzystwo dla Ratowania Rozbitków z Morza, jedna z pierwszych organizacji ogólnoniemieckich, która powstała jeszcze przed powstaniem drugiej Rzeszy). W 1887 roku personel Poczty i Telegrafu Rzeszy ufundował stacji ratowniczej DGzRS w Stolpmuende (dzisiejszej Ustce) nad Bałtykiem nową łódź, nazwaną „General-Postmeister” na pamiątkę H. von Stephana – osoby w tym czasie żyjącej. Łódź ta trafiła do swego miejsca bazowania dopiero w 1890 roku, po ukończeniu nowego hangaru.