W pierwszych latach swoich rządów, Filip przystąpił do Związku Szwabskiego. Ponieważ jednak pojawiły się dość szybko różnice między Filipem i innymi jego członkami, landgraf heski szukał innych sprzymierzeńców. To stało się powodem małżeństwa z Krystyną, córką księcia saskiego Jerzego Brodatego. Sojusz ten jednak nie miał większych perspektyw: Jerzy był wierny Kościołowi katolickiemu, natomiast Filip, którego objęcie władzy zbiegło się w czasie z wybuchem reformacji w Rzeszy, skłaniał się w stronę nowych kierunków religijnych. Sprawy religijne zdominowały całe panowanie Filipa. Jeszcze w 1525 r. udzielił pomocy teściowi w czasie wojny chłopskiej w Niemczech (dzięki pokonaniu powstańców w Turyngii, powstanie nie rozlało się szeroko w państwie Filipa i niewielkie zarzewia niepokoju mógł stłumić z niewielkim wysiłkiem). Jednocześnie jednak już w 1524 r., jako pierwszy z książąt Rzeszy, formalnie przyjął wyznanie luterańskie. Wkrótce podjął reformy wewnętrzne w swoim kraju w celu stabilizacji zagrożonego porządku społecznego oraz nowego uregulowania kwestii religijnych, m.in. w gestii księcia znalazły się wówczas opieka nad chorymi oraz edukacja. Podjął działania na tych polach, zakładał szpitale i szkoły, w 1527 r. założył protestancki uniwersytet w Marburgu.