Życie prywatne 21 kwietnia 1720 r. poślubił Mary Leppell (26 września 1706 – 2 września 1768), córkę brygadiera-generała Nicholasa Leppella i Mary Brooke, córki Johna Brooke’a. John i Mary mieli razem trzech synów i córkę: George William Hervey (3 sierpnia 1721 – 18 marca 1775), 2. hrabia Bristol Leppell Hervey (15 kwietnia 1723 – 11 marca 1780), żona Constantine’a Phippa, 1. barona Mulgrave, miała dzieci Augustus John Hervey (19 maja 1724 – 23 września 1779), 3. hrabia Bristol Frederick Augustus Hervey (1 sierpnia 1730 – 8 lipca 1803), 4. hrabia Bristol
Orientacja seksualna Lord Hervey był biseksualistą. Poza małżeństwem miał romans z Anne Vane oraz, prawdopodobnie, z lady Mary Wortley Montagu. Utrzymywał również intymne związki z mężczyznami – z torysowskim politykiem Stephenem Foksem i włoskim filozofem Francesco AlgarottimWho’s who in gay and lesbian history: from antiquity to World War II, Tom 1..
Hervey w kulturze Postać lorda Herveya pojawia się brytyjskim serialu Aristocrats z 1999 r.