III Rzesza Po przejęciu władzy przez nazistów Ackermann w latach 1933–1935 pracował nielegalnie dla KPD w Berlinie, m.in. jako sekretarz Johna Schehra. W 1935 wyemigrował do Pragi, gdzie mieszkał do 1937. Podczas hiszpańskiej wojny domowej pełnił w latach 1937–1938 obowiązki kierownika szkoły politycznej Brygad Międzynarodowych w Draveil, w departamencie Essonne. Po pobycie w Paryżu wyjechał w 1940 do Moskwy, gdzie od 1941 redagował gazetę „Wolne Słowo” (niem. „Das freie Wort”) i pracował wśród niemieckich jeńców wojennych. Był także jednym z założycieli Komitetu Narodowego „Wolne Niemcy” (niem. Nationalkomitee „Freies Deutschland” – NKFD). W latach 1941–1945 kierował rozgłośnią radiową „Wolne Niemcy” (niem. „Freies Deutschland”). W 1945 odznaczony został Orderem Czerwonej Gwiazdy.