W 1558 r. John Lyte przekazał majątek Henrykowi, który zarządzał Somerset aż do jego śmierci w 1576 r., w którym to roku macocha Henry'ego wniosła przeciwko niemu nakaz sądowy. Możliwe, że Lyte służył jako szeryf w Somerset, lub jako jego zastępca, za panowania Marii I i że trwało to aż do drugiego roku panowania Elżbiety (czyli 1559).
Lyte był żonaty trzy razy: we wrześniu 1546 r. ożenił się z Agnieszką, córką i spadkobierczynią Johna Kellowaya z Collumpton, Devon, która zmarła w 1564 r., i z którą miał pięć córek; w lipcu 1565 r. z Frances, córką Johna Tiptofta, obywatela Londynu, zmarłą w 1589 r., z którą miał trzech synów i dwie córki; w 1591 r. z Dorothy, córką Johna Gover z Somertonu, z którą miał dwóch synów i córkę. Lyte był przyjacielem antykwariusza Johna Aubreya, który powiedział, że Henry: "miał całkiem niezły zbiór roślin jak na swój wiek", chociaż zachowany rękopis drugiego syna i następcy Lyte'a, Thomasa, wylicza tylko różne drzewa owocowe.