29 kwietnia 1940 więzienie wizytował Reichsführer-SS Heinrich Himmler. 2 maja 1940 roku ponad ośmiuset więźniów po raz pierwszy wysłano do niemieckiego obozu koncentracyjnego Sachsenhausen. 14 sierpnia 1940 z Pawiaka odszedł pierwszy transport więźniów do obozu Auschwitz-Birkenau.
W listopadzie 1940 więzienie znalazło się w obrębie warszawskiego gettaMapa Getto warszawskie. Współczesny układ ulic i ostańce zabudowy według stanu na marzec 2001 na tle dawnego planu miasta, opracowanie kartograficzne Paweł E. Weszpiński, współczesna treść tematyczna (przebieg ulic i ostańce) Robert Marcinkowski, [w:] .
W pierwszym okresie funkcjonowania Pawiaka do marca 1940 r. więzienie podlegało Wydziałowi Sprawiedliwości Urzędu Generalnego Gubernatorstwa. W marcu tego roku Pawiak stał się więzieniem śledczym Policji Bezpieczeństwa i Służby Bezpieczeństwa Dystryktu Warszawskiego a szczególnie jej Wydziału IV Tajnej Policji Państwowej – Gestapo, największym więzieniem politycznym na terenie okupowanej Polski. Funkcje pomocnicze dla Pawiaka spełniało więzienie mokotowskie.