W 1930 objął kierownictwo Ludowego Komisariatu Spraw Zagranicznych (ros.Narkomindieł) po konflikcie z ówczesnym szefem Gieorgijem Cziczerinem. Reprezentował opcję porozumienia z Francją i Wielką Brytanią. Doprowadził do podpisania z sąsiadami ZSRR protokołu o wyrzeczeniu się wojny (tzw. protokół Litwinowa), paktu o nieagresji z Polską (1932), wznowienia stosunków dyplomatycznych ze Stanami Zjednoczonymi (1933) i przystąpienia ZSRR do Ligi Narodów (1934).

Udało mu się odwrócić uwagę reszty świata od dokonywanych w ZSRR zbrodni (kolektywizacja, Wielka czystka), głosząc hasła rozbrojenia i walki z faszyzmem doprowadził do wzrostu autorytetu i prestiżu władz ZSRR. Wprowadził do dyplomacji termin „pokojowe współistnienie” oraz frazę „pokój jest niepodzielny”.

3 maja 1939 został usunięty ze stanowiska przez Józefa Stalina, gdy ten zdecydował się zacieśnić współpracę z dyktatorem Rzeszy Adolfem Hitlerem. Po jego usunięciu aresztowano wszystkich jego współpracowników.

W latach 1941–1943 pełnił funkcję ambasadora ZSRR w USA (na tym stanowisku podpisał Deklarację Narodów Zjednoczonych), a od 1942 również na Kubie.