Ojcem chrzestnym Hipolita był jego pradziadek, Samuel Wołk-Łaniewski (1770–1852), niegdysiejszy prezydent ziemski oszmiański, kawaler Orderu Świętej Anny.
Hipolit miał również siostrę Marię Korwin-Milewską (1847–1934), która poślubiła Szymona Meysztowicza, oraz brata, Ignacego Korwin-Milewskiego (1846–1926), kolekcjonera sztuki i filantropa. Zakupił on w Kurii Rzymskiej dziedziczny tytuł hrabiowski dla rodziny, przyjmując herb „Milan”, jednak Hipolit i jego ojciec Oskar go nie używali, często podpisując się z dodatkiem „nie hrabia”. Hipolit miał też młodszego brata Oskara Korwin-Milewskiego, który zmarł w dzieciństwie. Grób matki, Weroniki, znajduje się na cmentarzu na Rossie w Wilnie.
Sam Hipolit ożenił się w 1888 r. z Kazimierą Hołyńską, szlachcianką, córką Aleksandra Hołyńskiego, zamożnego właściciela ziemskiego w guberni mohylewskiej i jego żony, hrabiny Kunegundy Plater, zawierając z nią małżeńską umowę majątkową (która, jak sam zauważa w swoich pamiętnikach, była wówczas tradycyjna). Małżeństwo nie doczekało się potomstwa. Hipolit nazwał swoją żonę „rodowitą Białorusinką”, ponieważ jej rodzina pochodziła z rdzennej ludności w województwie mścisławskim Wielkiego Księstwa Litewskiego i guberni mohylewskiej Cesarstwa Rosyjskiego.