O swojej genealogii Hipolit powiedział, że dokładnie zna swoje pochodzenie dopiero od Dominika Korwin-Milewskiego, szlachcica z połowy XVIII wieku ze Słuczczyny (województwo nowogródzkie), którego przodkowie prawdopodobnie przybyli służyć książętom Radziwiłłom w Królestwie Polskim. A o pochodzeniu matki pisał, że pochodzi od Samuela Łaniewskiego-Wołk, szlachcica z XVIII w. z województwa witebskiego, kalwina.
Edukacja Dzieciństwo spędził, począwszy od 1856 r., w Paryżu, gdzie od 1857 r. wychowywał się w prywatnej szkole z internatem na koszt rodziców, więc znał doskonale francuski. Rodzice wysłali go do Paryża dla poprawy zdrowia i pragnąc ukryć go przed władzami rosyjskimi, ponieważ na Litwie doszło do prześladowań wielu nielojalnych przedstawicieli katolickiej szlachty. Później w swoich wspomnieniach zauważył, że decyzja rodziców o wychowaniu go we francuskim internacie okazała się szkodliwa, ponieważ nie pozwalała mu nabyć w dzieciństwie lokalnych nawyków i idei, a narzucała mu francuski. Przyznał, że francuskie wychowanie często kolidowało z porozumieniem z miejscową katolicką szlachtą Litwy oraz Białorusi i ostatecznie doprowadziło do upadku wielu jego politycznych przedsięwzięć.