Rosenberg został objęty badaniami w Rassenhygienische und Bevölkerungsbiologische Forschungsstelle (pol. Placówce Badawczej Higieny Rasowej i Biologii Demograficznej), która od 1936 roku prowadziło rejestrację wszystkich niemieckich Sinti i Romów. W 1940 r., w wieku trzynastu lat, Otto Rosenberg został zesłany do przymusowej pracy w berlińskiej fabryce zbrojeniowej Danneberg & Quandt (DAQUA).
Początkowo nie miał negatywnego stosunku do pracy, jednak wiosną 1942 r. sytuacja drastycznie się pogorszyła: zmniejszono racje żywnościowe, obniżono wynagrodzenie i wykluczono go ze wspólnych posiłków z innymi pracownikami ze względu na jego pochodzenie. Pewnego dnia znalazł na terenie zakładu lupę, a Niemcy oskarżyli go o sabotaż i kradzież sprzętu wojskowego. Został aresztowany i bez procesu spędził cztery miesiące w więzieniu, po czym przewieziono go do obozu koncentracyjnego w Auschwitz. 16 maja 1944 r. wziął udział w buncie ludności romskiej w obozie. W sierpniu 1944 r. został deportowany do obozu w Buchenwald, gdzie pracował w kamieniołomie. W kwietniu 1945 r.