Zaraz po wojnie Zahorski zawarł drugi związek małżeński, z dużo młodszą od siebie kobietą.
Z pierwszego małżeństwa miał sześcioro dzieci: synów Bronisława (1907-1984, absolwenta dwóch fakultetów: prawnika i romanistę, urzędnika Najwyższej Izby Kontroli), Jerzego Dominika (1917-2005, inżyniera, w czasie II wojny światowej lotnika RAF-u, pozostałego na emigracji w Anglii), Józefa Zygmunta (zmarłego w dzieciństwie w latach międzywojennych) oraz córki Wandę Zofię (1913-1945?, zamężną Skirmuntową, zmarłą w jednym z obozów koncentracyjnych w nieznanych bliżej okolicznościach), Elżbietę Marię (1915-1939, u progu okupacji rozstrzelaną za zrywanie niemieckich plakatów propagandowych) i Krystynę Klarę Wiktorię (1921-1944, uczestniczkę konspiracji, zamężną Zaremba-Celińską, zmarłą tragicznie wraz z mężem i rocznym synem w wyniku bombardowania stolicy w czasie powstania warszawskiego).
Jego prawnuczka (wnuczka Jerzego Dominika i córka Bohdana), Tiffany Zahorski (ur. 1994) została łyżwiarką figurową reprezentującą Rosję, Olimpijką.