Niemcy szybko zorientowali się jednak, że egzekucje przeprowadzane w Ogródku Jordanowskim mogą być stosunkowo łatwo obserwowane przez niepożądanych świadków. Z tego względu od 4 sierpnia Polaków masowo rozstrzeliwano w ruinach zburzonego we wrześniu 1939 południowego skrzydła gmachu GISZ – bezpośrednio przylegającego do terenu ogródka. Ze względu na wojenne zniszczenia, budynek ten był pozbawiony dachu i ścian wewnętrznych. Chcąc uniemożliwić obserwację dokonywanych wewnątrz gmachu zbrodni, Niemcy zabili deskami większość parterowych okien. Pozostawiono tylko jedno okno na wysokim parterze, do którego przystawiono deski z poprzecznikiem. Pełniło ono odtąd funkcję wejścia, którym SS-mani wprowadzali ofiary na miejsce kaźni. W kotłowni gmachu Niemcy zainstalowali prowizoryczne krematorium.
Zarówno w Ogródku Jordanowskim, jak i w ruinach GISZ byli mordowani przede wszystkim mężczyźni i chłopcy zdolni do noszenia broni. W pierwszych dniach sierpnia 1944 rozstrzeliwano tam jednak również kobiety i dzieci – w tym pracownice tramwajów miejskich i sieroty ze schroniska przy Szpitalu Dziecięcym przy ul. Litewskiej – a także starców i kaleki. W tym okresie na terenie „dzielnicy policyjnej” Niemcy rozstrzeliwali przede wszystkim Polaków zamieszkujących Śródmieście Południowe.