Przebywał na uchodźstwie w Czechach, gdzie pełnił obowiązki sekretarza komitetu ds. uchodźców w Přešticach i uczył dzieci uchodźców.
Po odzyskaniu niepodległości Bielak sympatyzował z Republiką Tarnobrzeską. Po likwidacji związanej z nią kolbuszowskiej rady Bielak został przeniesiony do szkoły w Siedlance. W 1919 roku został inspektorem Małopolskiego Towarzystwa Rolniczego na północną Rzeszowszczyznę. Podczas wojny polsko-bolszewickiej zgłosił się na ochotnika do wojska, dostając przydział do działu propagandy. Po wojnie powrócił do pracy nauczyciela. Został dyrektorem szkoły w Trzebosi. W czasie, gdy był posłem, w funkcji tej zastępowała go żona. Był jednym z aktywniejszych działaczy sokołowskiego ogniska Związku Nauczycielstwa Polskiego. Był członkiem rad nadzorczych kolbuszowskich placówek Banku Ludowego i składnicy kółek rolniczych. W 1938 roku przeniesiono go do szkoły w Mrowli, gdzie zorganizował Uniwersytet Niedzielny Towarzystwa Szkół Ludowych. W czasie okupacji niemieckiej został aresztowany.