Milk ukończył Bay Shore High School w Bay Shore w stanie Nowy Jork i w 1947 roku rozpoczął studia w State College for Teachers in Albany (obecnie State University of New York at Albany), które ukończył w 1951 roku specjalizując się z matematyki. Pisał dla uniwersyteckiej gazety i został zapamiętany jako towarzyski, przyjazny student. Żadne z jego przyjaciół w szkole średniej i na uczelni nie przypuszczało, że jest gejem. Jego znajoma z klasy wspomina: nigdy nie uważano go za queera – tak ich wtedy nazywano – był męskim mężczyzną.

Wczesna kariera Po ukończeniu studiów Milk zaciągnął się do marynarki wojennej podczas wojny w Korei. Służył na okręcie ratunkowym USS „Kittiwake” (ASR-13) jako nurek. Później rozpoczął służbę w bazie wojennej San Diego. W 1955 zakończył służbę wojskową osiągając stopień podporucznika.

Jego wczesna kariera była naznaczona częstymi zmianami; w późniejszych latach często wspominał o swojej metamorfozie z żydowskiego chłopaka pochodzącego ze średniej klasy. Był nauczycielem w George W. Hewlett High School w Long Island. W 1956 roku na plaży w Jacob Riis Park, popularnym wśród gejów miejscu w Queens, poznał o siedem lat młodszego Joego Campbella.