Richard S. Sutton (nascido em 1957 ou 1958) é um cientista da computação canadense professor de ciência da computação na Universidade de Alberta e pesquisador científico na Keen Technologies. Sutton é considerado um dos fundadores do moderno aprendizado por reforço, tendo várias contribuições significativas para o campo, como aprendizado de diferença temporal.

Vida e educação Richard Sutton nasceu em 1957 ou 1958 em Ohio e cresceu em Oak Brook, Illinois, um subúrbio de Chicago, Estados Unidos.

Recebeu seu bacharelado em psicologia pela Universidade de Stanford em 1978 antes de fazer um mestrado (1980) e um doutorado (1984) em ciência da computação pela Universidade de Massachusetts Amherst, sob a supervisão de Andrew Barto. Sua dissertação de doutorado, Temporal Credit Assignment in Reinforcement Learning, introduziu arquiteturas ator-crítico e atribuição de crédito temporal.

Ele foi influenciado pelo trabalho de Harry Klopf na década de 1970, que propôs que o aprendizado supervisionado é insuficiente para a inteligência artificial (IA) ou para explicar o comportamento inteligente, e que o aprendizado por tentativa e erro, impulsionado por "aspectos hedônicos do comportamento", é necessário. Isso concentrou seu interesse no aprendizado por reforço.

Carreira Em 1984, Sutton era pesquisador de pós-doutorado na Universidade de Massachusetts. De 1985 a 1994, foi membro principal da equipe técnica do Laboratório de Computação e Sistemas Inteligentes da GTE em Waltham, Massachusetts. Depois disso, ele passou três anos na Universidade de Massachusetts Amherst como cientista pesquisador sênior. De 1998 a 2002, Sutton trabalhou no Laboratório Shannon da AT&T em Florham Park, Nova Jersey, como principal membro da equipe técnica do departamento de inteligência artificial.

Desde 2003, ele é professor de ciência da computação na Universidade de Alberta. Ele liderou o Laboratório de Aprendizagem por Reforço e Inteligência Artificial da instituição até 2018. Mantendo a sua cátedra, Sutton juntou-se à DeepMind em junho de 2017 como cientista pesquisador e cofundador do seu escritório em Edmonton.

Ex-americano, Sutton tornou-se cidadão canadense em 2015.

Aprendizagem por reforço Sutton se juntou a Andrew Barto no início da década de 1980 na UMass, tentando explorar o comportamento dos neurônios no cérebro humano como base para a inteligência humana, um conceito que havia sido desenvolvido pelo cientista da computação A. Harry Klopf. Sutton e Barto usaram a matemática para desenvolver o conceito e usá-lo como base para a inteligência artificial. Este conceito ficou conhecido como aprendizagem por reforço e passou a se tornar uma parte fundamental das técnicas de inteligência artificial.

Barto e Sutton usaram processos de decisão de Markov (PDM) como base matemática para explicar como os agentes (entidades algorítmicas) tomavam decisões em um ambiente estocástico ou aleatório, recebendo recompensas ao final de cada ação. A teoria tradicional do PDM pressupunha que os agentes conheciam todas as informações sobre os PDMs na tentativa de maximizar suas recompensas cumulativas. As técnicas de aprendizagem por reforço de Barto e Sutton permitiram que tanto o ambiente como as recompensas fossem desconhecidos e, assim, permitiram que esta categoria de algoritmos fosse aplicada a uma vasta gama de problemas.

Sutton retornou ao Canadá na década de 2000 e continuou trabalhando no tópico que continuou a se desenvolver nos círculos acadêmicos até que uma de suas primeiras grandes aplicações no mundo real viu o programa AlphaGo do Google construído neste conceito derrotando o então campeão humano prevalecente. Barto e Sutton foram amplamente creditados e aceitos como pioneiros da aprendizagem por reforço moderna, sendo a técnica em si fundamental para o boom da IA moderna.

Em um ensaio de 2019, Sutton criticou o campo da pesquisa em IA por não "aprender a lição amarga de que construir a forma como pensamos não funciona a longo prazo", argumentando que "70 anos de pesquisa em IA [mostraram] que os métodos gerais que alavancam a computação são, em última análise, os mais eficazes, e por uma grande margem", superando os esforços baseados no conhecimento humano sobre campos específicos como visão computacional, reconhecimento de fala, xadrez ou Go.

Sutton e John Carmack anunciaram uma parceria para o desenvolvimento da AGI em 2023.

Publicações selecionadas

Sutton, RS, Barto, AG, Aprendizagem por Reforço: Uma Introdução. Editora MIT, 1998. Também traduzido para japonês e russo. Segunda edição MIT Press 2018. Sutton, RS (Ed.), Aprendizagem por reforço. Reimpressão de uma edição especial do Machine Learning Journal. Editora acadêmica Kluwer, 1992 Miller, WT, Sutton, RS, Werbos, PJ (Eds.), Redes Neurais para Controle. Editora MIT, 1991.

Prêmios e honrarias Sutton é membro da Associação para o Avanço da Inteligência Artificial (AAAI) desde 2001; sua nomeação foi: "Por contribuições significativas para muitos tópicos em aprendizado de máquina, incluindo aprendizado por reforço, técnicas de diferença temporal e redes neurais." Em 2003, ele recebeu o Prêmio do Presidente da International Neural Network Society e em 2013, o prêmio Outstanding Achievement in Research da Universidade of Massachusetts Amherst. Em 2025, ele recebeu o Prêmio Turing da Association for Computing Machinery junto com Andrew Barto; a citação do prêmio dizia: "Por desenvolver os fundamentos conceituais e algorítmicos do aprendizado por reforço."

Em 2016, Sutton foi eleito membro da Royal Society of Canada. Em 2021, foi eleito membro da Royal Society of London.

Categoria:Nascidos na década de 1950 Categoria:Alunos da Universidade de Massachusetts Amherst Categoria:Alunos da Universidade Stanford Categoria:Professores da Universidade de Alberta Categoria:Cientistas da computação do Canadá Categoria:Pessoas vivas