W 1985 r. został mianowany przez Michaiła Gorbaczowa I sekretarzem Komitetu Miejskiego w Moskwie, co w praktyce czyniło go najważniejszym administratorem stolicy. Na początku 1986 wszedł do Biura Politycznego jako zastępca członka. Sprawowanie funkcji w Moskwie traktował jako zadanie kluczowe i podejmował działania pokazujące dystans wobec przywilejów przysługujących dotychczasowym kierownikom, m.in. rezygnując z części specjalnych udogodnień (np. zrezygnował ze służbowej limuzyny) oraz przeprowadzając wiele akcji antykorupcyjnych.

Popularność, którą Jelcyn zdobył wśród mieszkańców Moskwy, wzmocniła jego pozycję polityczną. Zachęcony sukcesami w stolicy zaczął coraz wyraźniej opowiadać się za pogłębieniem procesu pieriestrojki, wykraczając w swoich postulatach poza propozycje Gorbaczowa. Koncepcje te spotykały się jednak z niechęcią znacznej części partyjnej elity, co po jego ataku serca 9 listopada 1987, doprowadziło do usunięcia z tego stanowiska i przeniesienia na funkcję pierwszego zastępcy kierownika Państwowego Komitetu ZSRR ds. Budownictwa. Jednocześnie zdobył popularność w reformatorskim skrzydle partii, wśród neoliberalnej inteligencji.