Po przegranej elekcji Karol Ferdynand Waza otrzymał po Władysławie IV Wazie księstwo opolsko-raciborskie. Wycofał się z życia publicznego. Osiadł w dobrach biskupów płockich na Mazowszu. Swoją główną rezydencją uczynił zamek w Broku. W 1651 przejął opiekę nad osieroconym i pozbawionym majątków na Ukrainie, Michałem Korybutem Wiśniowieckim. Sfinansował jego podróże zagraniczne i zapewnił gruntowne wykształcenie.
W połowie XVII wieku wybuchł przeciw niemu bunt części władz księstwa opolsko-raciborskiego, ponieważ Waza chciał wprowadzić niezgodne ze statutem ziemskim przepisy restrykcyjne. Zwołana 24 września 1653 w Opolu sesja sejmiku księstwa, na której miano omówić zarządzenia Karola Ferdynanda, została zerwana i zbuntowana część uczestników przeniosła się do siedziby starosty ziemskiego Jana Maksymiliana von Hoditz w Prudniku, który przyłączył się do buntu. Waza uznał zjazd w Prudniku za nielegalny i obłożył jego uczestników ekskomuniką. Zbuntowany sejmik zarzucił mu działanie „na podstawie własnych praw”, i że „powinien oddzielić uprawnienia i obowiązki pana zastawnego od uprawnień biskupa”. Konflikt zakończył się wraz ze śmiercią Wazy. Karol Ferdynand Waza zmarł na dworze biskupim w Wyszkowie. Pochowany został w kościele jezuitów w Warszawie.