W 1940 roku został Wiceprzewodniczącym Rady Komisarzy Ludowych, a w 1943 roku został powołany na Przewodniczącego Rady Komisarzy Ludowych Rosyjskiej FSRR. W trakcie II wojny światowej pracował w Państwowym Komitecie Obrony ZSRR i był wiceprzewodniczącym Rady ds. Ewakuacji, której zadaniem była ewakuacja instalacji przemysłowych z miejsc, które miały zostać wkrótce opanowane przez III Rzeszę. W trakcie blokady Leningradu organizował tworzenie dróg dostaw i rurociągu na dnie jeziora Ładoga..
Od 1946 do 1949 roku był kandydatem na członka Biura Politycznego. Pełnoprawne członkostwo w Politbiurze otrzymał pod koniec rządów Józefa Stalina, utracił je jednak w 1952 roku. W 1948 roku był przez krótki czas ministrem finansów, a od 1949 do 1953 roku ministrem przemysłu lekkiego. Jego skuteczne umiejętności administracyjne doprowadziły do dostrzeżenia go przez Stalina, pomimo to jako członek Biura Politycznego posiadał jak na radzieckie standardy dość skromną pensję. Szybka kariera Kosygina uczyniła go niepopularnym pośród niektórych przywódców kraju. Spowodowało to strach Kosygina i jego najbliższej rodziny przed możliwym aresztowaniem w ostatnich latach trwania w ZSRR stalinizmu. Los Kosygina był też zagrożony w trakcie walki wewnątrzpartyjnej po śmierci Stalina.