Wybrany do komitetu centralnego KPD, pozostawał w nim do 1924. W latach 1923–1924, razem z Heinrichem Brandlerem, był głównym przywódcą partii. Przeciwstawił się organizacji powstania zbrojnego jesienią 1923, przez co stracił poparcie lewicowego skrzydła partii z Arkadijem Masłowem i Ruth Fischer na czele. Oskarżony o stracenie szansy na dojście przez KPD do władzy, był zmuszony do wyjazdu z Niemiec.
Thalheimer udał się do Moskwy, gdzie podjął pracę naukową w Instytucie Marksa i Engelsa, wykładając filozofię i prowadząc w tym zakresie kursy na Uniwersytecie im. Sun Jat-sena. W 1928, wbrew poleceniu kierownictwa Kominternu, wrócił do Niemiec. Protestował przeciw zainspirowanej przez Międzynarodówkę Komunistyczną wymianie liderów KPD, uznając jednak ZSRR za właściwie się rozwijające państwo socjalistyczne i krytykując działającą w nim Lewicową Opozycję. Razem z Brandlerem tworzył Partię Komunistyczną - Opozycję (KPO). W obliczu rosnących wpływów nazistów bezskutecznie apelował o jedność wszystkich organizacji lewicowych. Po dojściu NSDAP do władzy w Niemczech (30 stycznia 1933) wyjechał do Francji, zaś po upadku Francji w czerwcu 1940 zdołał uciec na Kubę, gdzie przebywał do swojej śmierci.