Już jako chłopiec Nygaardsvold był zaangażowany w działalność polityczną, ponieważ jego ojciec reprezentował Partię Liberalną w radzie miejskiej Malviku w 1883 roku. Zarówno ojciec, jak i jego dziadek uważnie śledzili politykę norweską, a w weekendy w domu czytano radykalny dziennik Verdens Gang. W wieku 12 lat Nygaardsvold zaczął pracować w tartaku i cegielni. Stopniowo angażował się w walkę o skrócenie czasu pracy z 12 godzin dziennie.
Kiedy jego ojciec zmarł w 1897 roku, 18-letni Johan przejął funkcję głównego żywiciela rodziny, podejmując pracę jako wolny pracownik w cegielni. Pracowała w niej także Bine Brandslet, która później została jego żoną. W 1901 roku wskutek kryzysu przedsiębiorstwo Karlslyst zbankrutowało, a Nygaardsvold wyjechał do Stanów Zjednoczonych, gdzie pracował przy budowie kolei. W 1907 roku wrócił do Norwegii z zamierem zabrania rodziny, jednak po śmierci brata został w kraju i podjął pracę w tartaku.