W czerwcu 1930 roku Wehner został wybrany do saksońskiego landtagu, lecz po roku zrezygnował z mandatu i przeniósł się do Berlina, gdzie kierował biurem politycznym KPD. Po dojściu nazistów do władzy w 1933 roku i delegalizacji KPD, działał w komunistycznym podziemiu. Przeniósł się w 1935 roku do Pragi, a następnie do Paryża. Od 1937 mieszkał w Hotelu Lux w Moskwie, gdzie był referentem ds. niemieckich w Sekretariacie Międzynarodówki Komunistycznej (Komintern). Uniknął czystek w ramach wielkiego terroru, co miało mieć związek z dostarczaniem władzom ZSRR materiałów na temat politycznych „wykroczeń” innych niemieckich komunistów na emigracjiHerbert Wehner: Aufzeichnungen für das NKWD. 13. Dezember 1937. w: Herbert Wehner Moskau 1937. Reinhard Müller, Hamburg 2004,. W 1941 roku wyjechał do Szwecji, gdzie organizował na nowo struktury zdelegalizowanej przez nazistów Komunistycznej Partii Niemiec. W 1942 roku szwedzka policja aresztowała Wehnera, który następnie został skazany i osadzony w więzieniu pod zarzutem szpiegostwa. W tym samym roku wyrzucony z szeregów działającej na emigracji KPD. Po dwóch latach został wypuszczony z więzienia i do 1946 roku pracował w szwedzkiej fabryce wiskozy. mały|Grób Herberta Wehnera W 1946 roku powrócił do Niemiec i wstąpił do Socjaldemokratycznej Partii Niemiec.