Jan miał również nieślubne dzieci z Katarzyną Swynford, córką Paona de Röet (rycerza z Hainault, który pod koniec lat 20. XIV wieku przybył do Anglii w orszaku królowej Filipy z Hainault i nieznanej z imienia matki), z którą ożenił się 13 stycznia 1396 roku w Katedrze w Lincolnie: Jan Beaufort (ok. 1371 – 16 marca 1410), 1. hrabia Somerset, jego wnuczką była Małgorzata Beaufort, matka króla Henryka VII, Henryk Beaufort (ok. 1375 – 11 kwietnia 1447), biskup Winchesteru, kardynał Tomasz Beaufort (ok. 1377 – 31 grudnia 1426), 1. książę Exeter Joanna Beaufort (ok. 1379 – 13 listopada 1440), poślubiła Roberta Ferrers, 3. barona Ferrers of Wemme, później Ralpha Neville’a, 1. hrabiego Westmoreland. Z drugiego małżeństwa pochodziła m.in. Cecylia, matka królów Edwarda IV i Ryszarda III.
Nawiązania Miasto Lancaster posiada pub zwany "The John O'Gaunt", znany z koncertów jazzowych i sporej kolekcji whisky. Hungerford w Berkshire, część dawnych włości Jana z Gandawy, również posiada pub "John O'Gaunt" oraz szkołę średnią jego imienia.