Jednak nie zwiększyło to znacznie liczebności Żydów w mieście. mały|Budynek mieszkalny z 1927 roku
W czasie II wojny światowej Przed wkroczeniem Niemców do Berdyczowa około 1/3 Żydów, w tym wcześniejszych uciekinierów, opuściła miasto.
22 sierpnia 1941 roku Niemcy zorganizowali w Berdyczowie getto. Po wcześniejszej selekcji 15 września 1941 r. zamordowano ponad 15 tysięcy Żydów. 27 kwietnia 1942 roku rozstrzelano 70 żydowskich kobiet z rodzin mieszanych wraz z dziećmi. 3 listopada 1941 roku, po wysłaniu około 150 najlepszych rzemieślników do obozu na Łysej Górze, Niemcy wymordowali pozostałych w getcie Żydów. Ogółem w czasie okupacji zostało zamordowanych w Berdyczowie około 30 000 Żydów.
Obóz pracy na Łysej Górze działał do stycznia 1944. Osadzonych w nich ludzi Niemcy stopniowo przewozili do miejskiego aresztu i tu zabijali.
Po 1945 roku Armia Czerwona zajęła Berdyczów 6 stycznia 1944 roku. Zaczęły wracać ocalałe po Zagładzie rodziny żydowskie. W połowie 1944 roku w Berdyczowie mieszkało ponad 80 rodzin żydowskich. W grudniu 1946 roku otwarto synagogę. W latach 60. XX wieku w mieście mieszkało już 6,5 tys.