Neumann wstąpił do partii nazistowskiej w maju 1933 roku, cztery miesiące po przejęciu władzy przez Adolfa Hitlera. Wstąpił do SS w 1934 roku, otrzymując stopień Sturmbannführera. W 1936 roku Został mianowany dyrektorem departamentu spraw zagranicznych Urzędu Pełnomocnika ds. Planu Czteroletniego. W 1938 roku Neumann został awansowany na podsekretarza stanu i uczestniczył w spotkaniu Hermanna Göringa na temat „arianizacji” niemieckiej gospodarki. Reprezentował ministerstwa gospodarki, pracy, finansów, żywności, transportu i uzbrojenia oraz amunicji na konferencji w Wannsee w 1942 roku. Neumann zażądał na spotkaniu, aby żydowscy robotnicy w firmach niezbędnych do wysiłku wojennego, nie byli tymczasowo objęci deportacją. Od sierpnia 1942 roku do maja 1945 roku, Neumann był dyrektorem generalnym niemieckiego syndykatu potasowego.
W 1945 roku został internowany i przesłuchiwany przez Aliantów. Po wojnie został zwolniony z powodu złego stanu zdrowia w 1948 roku. Niektóre źródła podają, że jego śmierć nastąpiła w tym samym roku, jednak niemieckie