22 czerwca 1941 roku Grajewo ponownie zajęli Niemcy. Rozpoczęły się krwawe represje wobec Żydów oraz osób podejrzanych o współpracę z Sowietami. 30 sierpnia 1941 rozstrzelano ok. 120 osób uznanych za komunistów. W sierpniu 1941 w rejonie ulic: Dolnej, Rudzkiej i Łaziennej Niemcy utworzyli getto, w którym zgromadzono około 3 tys. osób narodowości żydowskiej. Zostało ono zlikwidowane 2 listopada 1942. Grajewscy Żydzi zostali wywiezieni do obozu przejściowego w Prostkach, skąd trafili do obozu zagłady w Treblince. 15 lipca 1943 gestapo aresztowało w Grajewie 183 osoby, głównie przedstawicieli inteligencji, które zamordowano w pobliskich Boguszach. 20 stycznia 1945 r., w przeddzień opuszczenia Grajewa, Niemcy przeprowadzili masakrę miejscowej ludności. W lesie Kosówka rozstrzelali całe rodziny z małymi dziećmi (ok. 120 osób).
23 stycznia 1945 roku Grajewo zostało zajęte przez Armię Czerwoną.
W dniach 8–9 maja 1945 – dwustuosobowe zgrupowanie oddziałów Armii Krajowej Obywatelskiej (AKO) Rejonu Łomża, dowodzone przez mjr. Jana Tabortowskiego „Bruzdę”, czasowo opanowało Grajewo. W akcji tej z aresztów Urzędu Bezpieczeństwa (UB) i Milicji Obywatelskiej (MO) uwolniono ponad stu więźniów w większości związanych z podziemiem niepodległościowym.