Kariera W 1928 przeniósł się do Nowego Jorku, gdzie wraz z siostrą Vilmą rozpoczął karierę jako tancerz pod nazwą The Baby Astaires w klubach wieczorowych i wodewilu. Występował na Broadwayu w musicalach – Whoopee! (1928), Flying Colors (1932), Ziegfeld Follies of 1934 (1934), Yokel Boy (1939) i Show Boat (1946). Entuzjastyczna recenzja nowojorskiego felietonisty Waltera Winchella, który widział ich występ w Atlantic City w New Jersey, zaowocowała rezerwacją w Palace Theatre, szczyt świata wodewilu.
W 1935 zadebiutował na ekranie w roli Teda Burke’a w melodramacie muzycznym Broadway Melody of 1936 w reż. Roya Del Rutha i W.S. Van Dyke’a z Eleanor Powell. W 1939 MGM pierwotnie obsadziło go w roli Stracha na wróble w Czarnoksiężniku z krainy Oz, ale zamienił się rolami z aktorem Rayem Bolgerem, który pierwotnie miał grać Blaszanego Człowieka. Jednak wkrótce zaczął odczuwać skurcze i duszność, co ostatecznie doprowadziło do hospitalizacji. Lekarze ustalili, że cierpiał na reakcję alergiczną na pył aluminiowy używany w makijażu i ze względów zdrowotnych był zmuszony opuścić produkcję. W 1938, po wyzdrowieniu z choroby, wdał się w spór kontraktowy z MGM, Ebsen nie otrzymywał propozycji ról filmowych i tym samym wrócił na scenę.