Regencja Karola dobiegła końca 20 lipca 1950. Dwa dni później do Belgii wrócił Leopold III. W przeprowadzonym wkrótce potem referendum większość Belgów opowiedziała się za pozostaniem Leopolda na tronie. Jednak król został przekonany przez większość swojego otoczenia do abdykacji na rzecz swojego syna Baldwina, co nastąpiło w 1951. Jednym z namawiających Leopolda do abdykacji był książę Karol. Niektórzy historycy przypisują mu chęć zabrania bratu korony.
Po tym fakcie Karol, bojkotowany przez rodzinę królewską, został zmuszony do wycofania się z życia politycznego. Musiał opuścić dwór i zamieszkać w swej posiadłości w Raversijde, którą nazywał „podwórkiem”. W tym czasie dużo czasu poświęcał malarstwu. Swoje obrazy podpisywał po flamandzku: „Karel van Vlaanderen”. Nigdy już nie spotkał się z bratem, który później nie wziął nawet udziału w jego pogrzebie. W 1960 Karol zrezygnował z korzystania z listy cywilnej. Ostatnie lata życia upłynęły byłemu regentowi na sporach z władzami Ostendy, które próbowały go wywłaszczyć, oraz na procesach z dwoma biznesmenami, którym Karol powierzył swój majątek, a ci jakoby mieli go oszukać.