Był dwukrotnie żonaty. Po raz pierwszy od 3 listopada 1880 r. z Bronisławą z domu Witkowską (zm. 1900), z którą miał synów Tadeusza (1881–1944), Wincentego (1886–1930), Bolesława i Macieja oraz córki Zofię (1884–1938) żonę malarza Witolda Cypriana Bielińskiego (1877–1944), Marię (ur. 1887), Pelagię i Helenę. Po raz drugi żonaty od 25 czerwca 1901 r. z Teklą z domu Schultz (1875–1938), z którą miał syna Lutosława Bernarda (1904–1974) oraz córki Bognę Stanisławę (1902–1985), śpiewaczkę, żonę Edwarda Piotra Schechtela (1886–1957), profesora rolnictwa, ichtiologia, Wandę Janinę (1911–1944) i Katarzynę Ludomirę (1917–1949) po mężu Żebrowską.
Pochowany wraz z drugą żoną na cmentarzu parafii św. Wojciecha, na stoku Fortu Winiary (kwatera 3-8). Miasto Poznań odbudowało grobowiec Bernarda Milskiego z inskrypcją według Jana Kochanowskiego „Jeśli komu droga otwarta do nieba To tym, co służą Bogu i Ojczyźnie”.
Ocena działalności Bernard Milski z urodzenia i wychowania Wielkopolanin, wiele uczynił dla Pomorza Gdańskiego i Kaszubów w walce o język polski. Jak wielu patriotów, czynnie współtworzył poczucie dumy narodowej w czasach niewoli rozbiorowej.