W latach 30. XX wieku szczątki poległych zostały przeniesione na większe nekropolie, np. w Jednorożcu. W 1915 Niemcy zbudowali kolejkę wąskotorową, a następnie normalnotorową na trasie Ostrołęka–Chorzele. Jedną ze stacji wyznaczono w Olszewce. W latach 1917–1920 we wsi panowała epidemia hiszpanki.
Z powodu konfliktu z mieszkańcami Parciak na tle zakupu drewnianego kościoła z Czarni mieszkańcy Olszewki postanowili wystawić własną świątynię. Kościół Najświętszego Serca Jezusa konsekrowano w 1922. Od 1918 wieś należała do parafii Parciaki. Parafia w Olszewce powstała dopiero w 1980.mały|Stary budynek przedwojennej szkoły w OlszewceWedług spisu powszechnego z 1921 we wsi istniało 121 domów, w których mieszkało 617 osób, w tym 10 Żydów. Na stacji kolejowej Olszewka znajdowały się 2 budynki, w których mieszkało 18 osób. W 1926 przeprowadzono komasację gruntów, a w kolejnym dziesięcioleciu regulację rzeki Orzyc. We wsi pracowali rzemieślnicy (kołodziej, kowal), istniały 3 sklepy spożywcze. Trzy inne sklepy, w tym jeden spożywczo-łokciowy-galanteryjny, prowadzili Żydzi. W 1915 w budynku prywatnym zorganizowano szkołę. W 1918 mieściła się w kilku budynkach prywatnych. Szkoła była jednoklasowa.