Jako członek Stronnictwa Narodowo-Demokratycznego został 21 maja 1906 r. wybrany posłem do I Dumy, a po jej rozwiązaniu ponownie otrzymał mandat poselski, wchodząc z ramienia SN-D do Koła Polskiego w II Dumie. W swoich wystąpieniach często zabierał głos w sprawach szkolnictwa. Znany z cywilnej odwagi padł ofiarą represji wymierzonych w Polską Macierz Szkolną – najpierw usunięty został z urzędu rektora kościoła popijarskiego (1906), a następnie wydalony z Królestwa Polskiego (jesień 1907 r.).
Kilka miesięcy przebywał na wygnaniu w Krakowie i Lwowie. Wcześniej, w 1906 r., z ramienia PMS odwiedził USA, by zapoznać się z tamtejszym szkolnictwem. Efektem doświadczeń zebranych przez ks. Gralewskiego podczas podróży w 1904 i 1906 r. był program założonego przez niego w 1907 r. Polskiego Ogniska Wychowawczego, szkoły średniej wraz z internatem zlokalizowanej w Starej Wsi. Ks. Gralewski powrócił z Galicji w 1908 r., ale zabroniono mu spełniania jakichkolwiek funkcji kościelnych, w tym głoszenia kazań. W 1909 r. jego Ognisko zostało przeniesione do Szymanowa (powiat sochaczewski), aby w roku następnym powrócić do pierwotnej siedziby w Starej Wsi. W kolejnych latach ks. Gralewski przeniósł wyższe klasy Ogniska następnych do Galicji, do Surochowa i do Prokocimia, gdzie powstały nowe Ogniska.