Wskutek tego, ale również pod wpływem klerykalno-konserwatywnego katolicyzmu swojej rodziny, trafił on od początku do opozycji wobec narodowego socjalizmu i już w roku 1933 był wielokrotnie przesłuchiwany przez Gestapo.
Początkowo opuścił on Wirtembergię i w roku 1934 wstąpił do niewiele wcześniej założonego badeńskiego opactwa świętego Bartłomieja w Neuburgu, które jednak znajdowało się w kryzysie. Jednak w kwietniu 1930 roku mnich benedyktyński został „na wieczne czasy“ wydalony z Rzeszy Niemieckiej przez Gestapo. Znalazł schronienie w klasztorach w Szwajcarii i we Włoszech. W Szwajcarii założył on Międzynarodową Katolicką Pomoc dla Uchodźców i podróżował po całej Europie. W roku 1936 narodowosocjalistyczny rząd pozbawił ojca Odo obywatelstwa Rzeszy Niemieckiej.
Historyk i archiwista z domu Wirtembergii Eberhard Fritz założył, że opozycja Clausa von Stauffenberga wobec Adolfa Hitlera mogła mieć poparcie rodziny Wirtembergów. Ojciec Stauffenberga znał osobiście ojca Odo i wiedział o jego niechęci wobec nazistów oraz o jego działalności w ramach pomocy dla uchodźców.Eberhard Fritz: Das Haus Württemberg und der Nationalsozialismus. Motive des Widerstands gegen Hitler und seine Bewegung. In: Christopher Dowe (Hg.): Adel und Nationalsozialismus im deutschen Südwesten (Stuttgarter Symposion, Band 11). Stuttgart 2007. S.