Straciwszy pracę zajął się handlem sztuką, który mimo Wielkiego Kryzysu dobrze się rozwijał. Szybko w swojej działalności zawodowej zyskał uznanie środowiska i gdy w 1937 dzieła modernistów zaczęto usuwać z muzeów jako „sztukę zdegenerowaną”, a Joseph Goebbels postanowił niechciane dzieła sprzedać, Gurlitt znalazł się wśród handlarzy sztuki, których wciągnięto do współpracy przy obrocie tymi pracami.
Gdy Gurlitt zdobył zaufanie nazistów, ci wyznaczyli mu zadanie zbierania w okupowanej zachodniej Europie obrazów dla wielkiego muzeum sztuki w Linzu, które tworzono z polecenia Hitlera. Dysponujący kilkumilionowym budżetem Gurlitt do końca wojny kupił od kolekcjonerów i handlarzy dzieł sztuki ponad 100 obrazów i rzeźb. Zakupione obrazy przechowywał w Dreźnie, dokąd przeniósł się w 1942.
Zimą 1945 zabrał 25 skrzyń z obrazami i wyjechał z rodziną do Aschbach, gdzie kilka miesięcy później aresztowali go amerykańscy żołnierze. Po trzech dniach przesłuchań został jednak zwolniony z braku dowodów na nielegalne posiadanie tych dzieł. Gurlitt twierdził po wojnie, że reszta jego kolekcji została zniszczona podczas bombardowań Drezna. Zarekwirowane w 1945 dzieła sztuki oddano mu dopiero w 1950.