Na przełomie 1928 i 1929 nawiązał kontakty polityczne z Gustavem Stresemannem, który typował go do kandydatury Niemieckiej Partii Ludowej na urząd prezydenta Rzeszy. Nie uzyskał jednak poparcia partyjnego w prawyborach.

Po 30 stycznia 1933 wypowiadał się publicznie, protestując przeciwko objęciu władzy przez Narodowosocjalistyczną Partię Niemiec, w której rozpoznawał szkodliwy populizm i manipulację symbolami narodowymi. Mając nadzieję na sukces działań opozycyjnych konserwatystów wiosną 1933 wstąpił do Stahlhelmu. 1 lipca 1934 w wyniku „nocy długich noży” został aresztowany i internowany w obozie koncentracyjnym Hohnstein. Został zwolniony po pięciu dniach, w wyniku interwencji szwagierki, wielkiej księżnej Szarlotty. Następnie zamieszkał w Moritzburgu, wyłączając się z działalności publicznej. Jednak w 30. XX w. przy okazji czynności inspekcyjnych lasów w dobrach zamkowych podejmował kurtuazyjnie wysokich urzędników Rzeszy, m.in. Hermanna Göringa i Martina Mutschmanna. W tych latach przyjmował też nieoficjalne wizyty opozycji antyhitlerowskiej, m.in. Karola II (1938) i Carla Friedricha Goerdelera (1939). W 1939–1945 inwigilowany przez Abwehrę. W 1943 publicznie zwątpił w przypadkową śmierć swojego brata Jerzego, za co został aresztowany przez Gestapo, następnie zwolniony po interwencji króla Rumunii.