W 1939 ulica nie odniosła poważnych zniszczeń. W listopadzie 1940 znalazła się w obrębie getta warszawskiego, do którego nie włączono jedynie Szpitala Ewangelickiego. Była główną ulicą łączącą północną i południową część tzw. dużego getta, dlatego była bardzo zatłoczona. Była również uważana za ulicę bardzo niebezpieczną, gdyż przejeżdżały nią samochody transportujące więźniów między Pawiakiem a centralą Gestapo przy al. Jana Chrystiana Szucha 25. W 1942 wyłączono z dzielnicy zamkniętej parzystą stronę Karmelickiej, jednak strona nieparzysta wciąż wchodziła w skład tzw. szopów, czyli zatrudniających Żydów niemieckich zakładów produkcyjnych zlokalizowanych na terenie getta.
W latach 1943–1944 Niemcy spalili i zburzyli niemal całą zabudowę szopów i ulicy Karmelickiej. Ocalały jedynie kościół Narodzenia NMP i budynek Szpitala Ewangelickiego (zniszczony w 1944 podczas powstania warszawskiego). Po powstaniu w getcie warszawskim odcinek współczesnej ulicy pomiędzy ulicami: Gęsią (Anielewicza) i Wołyńską (Lewartowskiego) znalazł się w obrębie obozu koncentracyjnego KL Warschau. W miejscu wzniesionego po wojnie budynku pod nr 17a znajdowało się obozowe krematorium.