W efekcie Filip został zmuszony do zawarcia tajnego układu z cesarzem Karolem V Habsburgiem: Karol zaakceptował drugie małżeństwo Filipa, a ten ostatni spowodował zmniejszenie aktywności związku szmalkaldzkiego nad dolnym Renem.
Filip nadal uczestniczył w działaniach związku szmalkaldzkiego. W 1542 i 1545 prowadził kampanie wojenne związku przeciwko księciu brunszwickiemu Henrykowi Młodszemu, którego pokonanie zapewniło protestantom przewagę nad Habsburgami w północnych Niemczech. W 1546 r. wybuchła I wojna szmalkaldzka – początkowo Filip osiągał pewne sukcesy z południowych Niemczech, ale po zdradzie stronnictwa protestanckiego przez jego zięcia Maurycego (księcia saskiego) musiał się wycofać, a wojska związku szmalkaldzkiego zostały ostatecznie pokonane przez cesarza w bitwie pod Mühlbergiem w 1547 r. Sam Filip po kapitulacji Halle w czerwcu 1547 r. trafił do cesarskiej niewoli. Ceną za uwolnienie miało być przyjęcie przezeń interim augsburskiego, jednak przeciwko takiemu krokowi landgrafa sprzeciwiło się duchowieństwo saskie. W efekcie Filip pozostał w niewoli jeszcze pięć lat i został uwolniony dopiero w 1552 r. wskutek zwycięstw protestantów podczas kolejnej wojny (cesarza pokonali elektor saski Maurycy, który znowu zmienił front, w sojuszu z królem francuskim;