Varga nauczał w miejscowej szkole.
II wojna światowa Podczas II wojny światowej właśnie drogą kontaktów z działaczami Partii Drobnych Rolników do ks. Vargi trafili duchowni i wojskowi organizujący pomoc dla polskich uchodźców na Węgrzech. Ks. Varga niezwłocznie przeznaczył budynek domu kultury przy kościele w Balatonboglár na szkołę dla polskiej młodzieży, które przy jego wsparciu działało do 1944. Ks. Varga i jego parafianie pomagali również uciekinierom zmierzającym do armii polskiej we Francji i udzielali schronienia kurierom rządu londyńskiego, chronili Pod koniec wojny pomagali również jeńcom francuskim, których obóz powstał koło Balatonboglár.
Jeszcze przed agresją hitlerowską biskup sufragan w Veszprémie József Mindszenty mianował ks. Vargę najmłodszym w diecezji kanonikiem. Po hitlerowskiej agresji na Węgry 19 marca 1944 ks. Varga musiał natychmiast uchodzić z Balatonboglár. Przy pomocy biskupa Mindszenty'ego znalazł doskonałe schronienie w klasztorze w Homokkomárom. Po przewrocie Szálasiego w listopadzie 1944 ks. Varga udał się do Budapesztu i schronił się u jezuitów, gdzie nawiązał kontakt z całym szeregiem polityków z Niezależnej Partii Drobnych Rolników i innych partii. Ostatecznie ks. Varga uniknął aresztowania przez Gestapo.