W grudniu 1931 Ernst jako SA-Oberführer został adiutantem berlińskiej grupy SA. Od lipca 1932 do marca 1933 przewodził podgrupie SA Berlin-Ost. 1 marca 1933 otrzymał stopień SA-Gruppenführera i objął dowództwo nowo utworzonej SA-Obergruppe III. Jednocześnie, jako następca von Helldorfa, był od 20 marca 1933 specjalnym pełnomocnikiem najwyższych przywódców SA (niem. Sonderbevollmächtigte der Obersten SA-Führung (OSAF)) na Berlin i Brandenburgię. Od 1 grudnia 1933 objął stanowisko SA-Standortführera w Berlinie. Od marca 1933 podlegał policji polowej SA (niem. SA-Feldpolizei), która zajmowała się prześladowaniem przeciwników nazistowskiego reżimu.
Karl Ernst utrzymywał kontakty z Erikiem Janem Hanussenem, znanym żydowskim jasnowidzem, który znał przywódców SA i często udzielał im pożyczek (m.in. von Helldorfowi). Podczas seansu spirytystycznego 26 lutego 1933 Hanussen miał przepowiedzieć pożar ReichstaguNiektórzy uważają, że informację o pożarze miał otrzymać uprzednio od von Helldorfa, zabacz . Prawie miesiąc po pożarze gmachu Reichstagu, 24 marca 1933, Ernst wydał rozkaz aresztowania Hanussena. Hanussen został zabity, a jego ciało odnaleziono później w lesie pod Berlinem.