Pierwsze wzmianki o żydowskich mieszkańcach Grajewa pochodzą z końca XVII w. W 1676 roku zgodnie ze spisem pogłównego po potopie szwedzkim pośród 35 mieszkańców wymienianych jest 2 Żydów z żonami. W końcu XIX w. i na pocz. XX w. nastąpił znaczny wzrost liczby żydowskich mieszkańców Grajewa. W latach 1890–1914 udział Żydów wśród mieszkańców wahał się na poziomie 60–70%. Zajmowali się głównie handlem, rzemiosłem i drobną wytwórczością (fabryczki wyrobów gumowych, materiałów budowlanych, młyny, gorzelnie).
Hebrajska szkoła początkowa powstała ok. 1900 roku. Działał też cheder prowadzony przez Abrahama Mordechaja Fiorkę, który wydawał też hebrajskie pismo dla dzieci. Gmina żydowska posiadała dwie synagogi (przy ul. Rudzkiej i ul. Powiatowej), cmentarz pomiędzy ul. Rudzką a Ślepym Jeziorkiem, mykwę przy ul. Łaziennej. W okresie międzywojennym odsetek ten zmalał, jednak w 1939 roku wśród 9173 mieszkańców 3850 osób, a więc 38,6% stanowili Żydzi. Wzajemne antagonizmy pogłębił okres okupacji sowieckiej tych terenów w okresie wrzesień 1939 – czerwiec 1941.