Po Anschlussie Austrii do Rzeszy w marcu 1938 powrócił do Wiednia. Służył w Okręgowym Urzędzie Policji Państwowej. Tam został awansowany do stopnia SS-Hauptscharführera. W 1940 przeniesiony do urzędu Komendanta Sicherheitspolizei i Sicherheitsdienst w Radomiu. Pod koniec czerwca 1941 wraz z grupą funkcjonariuszy z Radomia oddelegowany do Einsatzgruppe zur besonderen Verwendung pod dowództwem dowódcy Sicherheitspolizei i Sicherheitsdienst (niem. Befehlshaber der Sicherheitspolizei und des SD) na Generalne Gubernatorstwo SS-Brigadeführera Eberharda Schöngartha we Lwowie. Brał udział w egzekucji profesorów polskich we Lwowie 4 lipca 1941. Następnie wraz z Walterem Kutschmannem służył w komisariacie Grenzschutzu w Drohobyczu jako szef referatu ds. żydowskich. Brał udział w masowych rozstrzeliwaniach Żydów.
W Drohobyczu czasowy „protektor” Brunona Schulza. Osobiście brał udział w rzeziach ludności żydowskiej (pisał o tym w pamiętnikach), miał też w zwyczaju strzelać z balkonu domu do Żydów, którzy przerwali pracę. Alfred Schreyer, uczeń Schulza, wspominał po latach Landaua jako „niesłychanego bandytę”Wiesław Budzyński: Schulz pod kluczem. – Warszawa: Grupa Wydawnicza Bertelsmann Media, 2001 ,s. 23..