Richard Stuart Sutton (nacido en 1957 o 1958, Ohio, Estados Unidos) es un informático canadiense cuyo trabajo ha tenido un impacto significativo en el campo de la inteligencia artificial, particularmente en el aprendizaje por refuerzo. Es profesor de informática en la Universidad de Alberta, miembro y asesor científico principal del Instituto de Inteligencia Artificial de Alberta e investigador en Keen Technologies. Sutton es considerado uno de los fundadores del aprendizaje de refuerzo computacional moderno ("reinforcement learning"), con varias contribuciones significativas en este campo, incluyendo el aprendizaje de diferencias temporales ("temporal difference learning") y los métodos de gradiente de política ("policy gradient methods").

En 2016, Sutton fue elegido miembro de la Royal Society of Canada.

En 2021, fue elegido miembro de la Royal Society of London.

En 2025, recibió el Premio Turing de la Asociación para la Maquinaria de Computación ("Association for Computing Machinery") junto con Andrew Barto; la mención del premio decía: «Por desarrollar los fundamentos conceptuales y algorítmicos del aprendizaje por refuerzo». Vida y educación Richard Sutton nació en 1957 o 1958 en Ohio, y creció en Oak Brook, Illinois, un suburbio de Chicago, Estados Unidos.

Sutton se licenció en psicología en la Universidad de Stanford en 1978, antes de obtener una maestría (MS 1980) y un doctorado (PhD 1984) en informática en la Universidad de Massachusetts Amherst, bajo la supervisión de Andrew Barto. Su tesis doctoral, «Asignación temporal de créditos en el aprendizaje por refuerzo» ("Temporal Credit Assignment in Reinforcement Learning"), introdujo las arquitecturas actor-crítico y la asignación temporal de créditos.

Se vio influenciado por el trabajo de Harry Klopf en la década de 1970, que proponía que el aprendizaje supervisado es insuficiente para la IA o para explicar el comportamiento inteligente, y que el aprendizaje por ensayo y error, impulsado por los "aspectos hedónicos del comportamiento", es necesario. Esto centró su interés en el aprendizaje por refuerzo ("reinforcement learning"). miniaturadeimagen|Sutton entrevistado por Steve Jurvetson en AlphaGo en 2017

Carrera En 1984, Sutton fue investigador postdoctoral en la Universidad de Massachusetts. De 1985 a 1994, fue miembro principal del personal técnico en el Laboratorio de Sistemas Informáticos e Inteligentes de GTE en Waltham, Massachusetts. Después de eso, pasó tres años en la Universidad de Massachusetts Amherst como científico investigador sénior. De 1998 a 2002, Sutton trabajó en el Laboratorio AT&T Shannon en Florham Park, Nueva Jersey, como miembro principal del personal técnico en el departamento de inteligencia artificial.

Desde 2003, ha sido profesor de informática en la Universidad de Alberta. Dirigió el Laboratorio de Aprendizaje por Refuerzo e Inteligencia Artificial ("Reinforcement Learning and Artificial Intelligence Laboratory") de la institución hasta 2018. Si bien mantuvo su cátedra, Sutton se incorporó a Deepmind en junio de 2017 como científico investigador distinguido y cofundador de su oficina en Edmonton.

Sutton, nacido estadounidense, se convirtió en ciudadano canadiense en 2015.

Aprendizaje por refuerzo Sutton se unió a Andrew Barto a principios de la década de 1980 en la Universidad de Massachusetts ("UMass"), con el objetivo de explorar el comportamiento de las neuronas en el cerebro humano como base de la inteligencia humana, un concepto propuesto por el informático A. Harry Klopf. Sutton y Barto utilizaron las matemáticas para profundizar en el concepto y utilizarlo como base para la inteligencia artificial. Este concepto se conoció como aprendizaje por refuerzo y se convirtió en un componente clave de las técnicas de inteligencia artificial.

Barto y Sutton utilizaron los procesos de decisión de Markov (PMD "Markov decision processes") como base matemática para explicar cómo los agentes (entidades algorítmicas) tomaban decisiones en un entorno estocástico o aleatorio, recibiendo recompensas al final de cada acción. La teoría tradicional de los PMD asumía que los agentes conocían toda la información sobre los PMD en su intento por maximizar sus recompensas acumuladas. Las técnicas de aprendizaje por refuerzo de Barto y Sutton permitieron que tanto el entorno como las recompensas fueran desconocidos, lo que permitió aplicar esta categoría de algoritmos a un amplio espectro de problemas.

Barto con Sutton y otros autores, introdujo algoritmos básicos como el aprendizaje por diferencia temporal (TD) y los métodos de gradiente de política, además de integrar redes neuronales para aproximar funciones de valor. Por ejemplo, el algoritmo TD resolvió el problema de la recompensa retardada: asigna crédito a acciones cuyos efectos aparecen mucho tiempo después. También propuso arquitecturas actor-crítico y sistemas híbridos que combinan aprendizaje con planificación, mostrando que adquirir conocimiento del entorno mejora la toma de decisiones. Estas ideas enlazaron RL ("Reinforcement Learning", aprendizaje por refuerzo) con teorías clásicas de control estocástico y aprendizaje animal. Barto mismo ha destacado las conexiones entre los algoritmos TD y el sistema dopaminérgico cerebral, contribuyendo a explicar desde el punto de vista matemático cómo el cerebro procesa recompensas.

Las contribuciones de Barto fueron posibles gracias a una serie de proyectos financiados por dinero público, que impulsaron la investigación en IA mucho antes de su reciente auge. Su investigación contó con el apoyo de subvenciones de programas de la NSF ("U.S. National Science Foundation"), como la Iniciativa Nacional de Robótica, Inteligencia Robusta, Investigación Colaborativa en Neurociencia Computacional, Computación Centrada en el Ser Humano, Tecnología y Sistemas de Información Biológica, Inteligencia Artificial y Ciencia Cognitiva, que han impulsado los avances fundamentales a largo plazo en aprendizaje automático que observamos hoy. La Fundación Nacional de Ciencias de EE. UU. es una agencia federal independiente que apoya la ciencia y la ingeniería en los 50 estados y territorios de EE. UU.

Muy influyente fue su libro seminal "Reinforcement Learning: An Introduction (1998)" (Aprendizaje por Refuerzo: Una Introducción, 1998), que sigue siendo la referencia estándar en el campo y hasta 2025 había sido citado más de 75 000 veces. Permitió a miles de investigadores comprender y contribuir a este campo emergente y continúa inspirando una importante actividad de investigación en informática hoy en día.

Sutton regresó a Canadá en la década de 2000 y continuó trabajando en el tema, que continuó desarrollándose en círculos académicos hasta que una de sus primeras aplicaciones importantes en el mundo real fue el programa AlphaGo de Google, construido sobre este concepto, que derrotó al entonces campeón humano Lee Sedol. Barto y Sutton han sido ampliamente reconocidos y aceptados como pioneros del aprendizaje de refuerzo moderno, siendo la técnica en sí misma fundamental para el auge moderno de la IA.

The Bitter Lesson

En su influyente ensayo "The Bitter Lesson" (La lección amarga) de 2019, Sutton criticó el campo de la investigación en IA por no haber aprendido la amarga lección de que incorporar la forma en que pensamos no funciona a largo plazo, argumentando que "70 años de investigación en IA (habían demostrado) que los métodos generales que aprovechan la computación son, en última instancia, los más efectivos, y por un amplio margen", superando los esfuerzos basados en el conocimiento humano sobre campos específicos como la visión artificial, el reconocimiento de voz, el ajedrez o el Go.

Ajedrez En ajedrez computacional, los métodos que derrotaron al campeón mundial Gary Kasparov en 1997 se basaron en una búsqueda masiva y profunda. En aquel entonces, esto fue visto con consternación por la mayoría de los investigadores de ajedrez computacional que habían buscado métodos que aprovecharan la comprensión humana de la estructura especial del ajedrez. Cuando un enfoque más simple, basado en la búsqueda con hardware y software especiales, demostró ser mucho más efectivo, estos investigadores de ajedrez basados en el conocimiento humano no fueron buenos perdedores. Dijeron que la búsqueda de "fuerza bruta" podría haber ganado esta vez, pero no era una estrategia general, y, de todos modos, no era como se jugaba al ajedrez. Estos investigadores querían que los métodos basados en la intervención humana ganaran y se decepcionaron al no lograrlo. Go

Un patrón similar de progreso en la investigación se observó en el Go computacional, solo que con un retraso de 20 años. Se realizaron enormes esfuerzos iniciales para evitar la búsqueda aprovechando el conocimiento humano o las características especiales del juego, pero todos esos esfuerzos resultaron irrelevantes, o peor aún, una vez que la búsqueda se aplicó eficazmente a gran escala. También fue importante el uso del aprendizaje por juego para aprender una función de valor (como en muchos otros juegos e incluso en ajedrez, aunque el aprendizaje no jugó un papel importante en el programa de 1997 que venció por primera vez a un campeón mundial). El aprendizaje por juego, y el aprendizaje en general, se asemeja a la búsqueda en el sentido de que permite la aplicación de cálculos masivos. La búsqueda y el aprendizaje son las dos clases de técnicas más importantes para utilizar cantidades masivas de computación en la investigación de IA. En el Go computacional, al igual que en el ajedrez computacional, el esfuerzo inicial de los investigadores se dirigió a utilizar la comprensión humana (para reducir la necesidad de búsqueda) y solo mucho más tarde se obtuvo un éxito mucho mayor al adoptar la búsqueda y el aprendizaje.

Reconocimiento de voz

En el campo del reconocimiento de voz, en la década de 1970, se realizó una competencia temprana, patrocinada por DARPA. Los participantes incluyeron una serie de métodos especiales que aprovechaban el conocimiento humano: conocimiento de palabras, fonemas, del tracto vocal humano, etc. Por otro lado, existían métodos más nuevos, de naturaleza más estadística y con una computación mucho mayor, basados en modelos ocultos de Markov (HMM). Una vez más, los métodos estadísticos prevalecieron sobre los métodos basados en el conocimiento humano. Esto condujo a un cambio importante en todo el procesamiento del lenguaje natural, gradualmente a lo largo de décadas, donde la estadística y la computación llegaron a dominar el campo. El reciente auge del aprendizaje profundo en el reconocimiento de voz es el paso más reciente en esta dirección consistente. Los métodos de aprendizaje profundo dependen aún menos del conocimiento humano y utilizan aún más computación, junto con el aprendizaje en grandes conjuntos de entrenamiento, para producir sistemas de reconocimiento de voz significativamente mejores. Al igual que en los juegos, los investigadores siempre intentaron crear sistemas que funcionaran de la forma en que creían que funcionaban sus propias mentes (intentaron poner ese conocimiento en sus sistemas), pero al final resultó contraproducente y una colosal pérdida de tiempo del investigador cuando, a través de la ley de Moore, se hizo disponible la computación masiva y se encontró un medio para darle un buen uso.

Visión artificial

En visión artificial, se ha observado un patrón similar. Los primeros métodos concebían la visión como la búsqueda de aristas, cilindros generalizados o en términos de características SIFT. Sin embargo, hoy en día todo esto se descarta. Las redes neuronales modernas de aprendizaje profundo utilizan únicamente los conceptos de convolución y ciertos tipos de invariancias, y ofrecen un rendimiento mucho mejor.

Inteligencia Artificial General

En 2023, Sutton y John Carmack anunciaron una asociación para el desarrollo de inteligencia artificial general (AGI). Legado