Giuseppe Garibaldiego (1937), oraz dowódca XI Brygady Międzynarodowej im. Ernsta Thälmanna (1938), aż do poniesienia ran. Był szefem komitetu pomocowego niemieckim i austriackim bojownikom walk w Hiszpanii oraz członkiem kierownictwa KPD w Paryżu (1938–1939).

W 1939 Rau został ponownie aresztowany i trafił do francuskiego obozu dla internowanych Le Vernet a później do tajnego więzienia w Castres. W tym okresie – w 1939 utracił obywatelstwo niemieckie, w 1941 otrzymał radzieckie, co nie umożliwiło mu swobodnego wyjazdu z Francji. W 1942 został przekazany Gestapo i był więziony w jego siedzibie w Berlinie przy Prinz-Albrecht-Strasse 8 (obecnie Niederkirchnerstraße) (1942–1943) i następnie umieszczony w obozie koncentracyjnym Mauthausen (1943–1945), gdzie pracował w komandzie budowlanym i magazynie żywnościowym, kierował obozową komórką KPD, oraz był uczestnikiem zbrojnego obozowego powstania.

Po powrocie na czele 120-osobowej grupy przez Wiedeń do Niemiec, był członkiem Tymczasowej Komisji do Realizacji Reformy Rolnej i przewodniczącym Krajowej Komisji Parcelacyjnej (Landessequesterkommission) w Brandenburgii. W 1946 wstąpił do SED.