Wczesne życie John Trevor Virgo urodził się 4 marca 1946 roku w domu przy Robertson Street w Salford jako najmłodsze dziecko Williama, operatora dźwigu stoczniowego, i jego żony Florence, ekspedientki sklepowej. Rodzina jego matki pochodziła z okolic Salford, a rodzina ojca z Newport w Walii, chociaż jego ojciec urodził się w Hereford. Virgo miał czworo starszego rodzeństwa: brata i trzy siostry. Rodzina mieszkała w dwupiętrowym domu szeregowym, w którym nie było bieżącej wody ani toalety.
Virgo zaczął grać w snookera w wieku ośmiu lat, gdy na Boże Narodzenie dostał stół bilardowy o wymiarach sześć na trzy stopy. W wieku 12 lat zaczął uczęszczać do klubu bilardowego na Small Street w Salford, mimo że jego ojciec nazywał go „jaskinią nieprawości” i zabraniał mu tam chodzić. Uczęszczał do Ordsall Secondary Modern School, ale w wieku 15 lat opuścił szkołę, aby pracować jako goniec w firmie inżynieryjnej.