Richard Stuart Sutton FRS (nascut el 1957 o el 1958) és un informàtic canadenc d'origen estatunidenc. És professor d'informàtica a la Universitat d'Alberta, fellow i assessor científic principal de lAlberta Machine Intelligence Institute, i investigador a Keen Technologies. Sutton és considerat un dels fundadors de l'aprenentatge per reforç computacional modern. Va contribuir als mètodes d'aprenentatge per diferències temporals i de gradient normatiu. Va rebre el Premi Turing de 2024 conjuntament amb Andrew Barto.

Vida i educació Richard Sutton va néixer l'any 1957 o el 1958 a Ohio, i va créixer a Oak Brook, Illinois, als afores de Chicago, als Estats Units. L'any 1978 es va llicenciar en psicologia a la Universitat Stanford i el 1984 va doctorar-se en informàtica a la Universitat de Massachusetts a Amherst, amb una tesi dirigida per Andrew Barto. La seva tesi doctoral, Temporal Credit Assignment in Reinforcement Learning, va introduir les arquitectures crítiques per actor i l'assignació de crèdit temporal.

Va rebre influències de l'obra de Harry Klopf, que durant la dècada de 1970 proposava que l'aprenentatge supervisat és insuficient per a la intel·ligència artificial i per explicar el comportament intel·ligent, i que és necessari l'aprenentatge per assaig i error, motivat pels «aspectes hedonistes del comportament». Això va focalitzar el seu interès en l'aprenentatge per reforç.

Sutton entrevistat per Steve Jurvetson sobre AlphaGo l'any 2017|miniatura

Carrera professional El 1984, Sutton va ser investigador postdoctoral a la Universitat de Massachusetts. Entre 1985 i 1994, va treballar al Laboratori d'Informàtica i Sistemes Intel·ligents de l'empresa de telefonia GTE a Waltham (Massachusetts). Després, va passar tres anys a la Universitat de Massachusetts a Amherst com a investigador sènior. Entre 1998 i 2002, Sutton va treballar en el Departament d'In tel·ligència Artificial del Laboratori Shannon de l'AT&T a Florham Park, (Nova Jersey).

Des de 2003 és catedràtic d'informàtica a la Universitat d'Alberta, on va dirigir el Laboratori d'Aprenentatge per Reforç i Intel·ligència Artificial fins al 2018. Tot i mantenint la càtedra, Sutton va incorporar-se a Deepmind el juny de 2017 com a investigador distingit i cofundador de l'oficina d'Edmonton.

Aprenentatge per reforç Sutton va ajuntar-se amb Andrew Barto a principis de la dècada de 1980 a UMass, intentant entendre el comportament de les neurones al cervell humà com a base de la intel·ligència humana, un concepte que havia avançat l'informàtic A. Harry Klopf. Sutton i Barto van utilitzar eines matemàtiques per avançar el concepte i utilitzar-lo com a base per la intel·ligència artificial. Aquest concepte va acabar sent conegut com a aprenentatge per reforç i es va convertir en una peça clau de les tècniques d'intel·ligència artificial.

Barto i Sutton van utilitzar processos de decisió de Màrkov (MDP) com a fonament matemàtic per explicar com els agents (entitats algorísmiques) prenien decisions quan es trobaven en un entorn estocàstic o aleatori, rebent recompenses al final de cada acció. La teoria de MDP tradicional assumia que els agents coneixien tota la informació sobre els MDPs en el seu intent de maximització de les recompenses acumulades. Les tècniques d'aprenentatge per reforç de Barto i Sutton van permetre que tant l'entorn com les recompenses fossin desconeguts, i així van permetre que aquesta categoria d'algorismes es pogués aplicar a una gamma ampla de problemes.

Sutton va tornar al Canadà en la dècada de 2000 i va continuar treballant sobre el tema, que continuava desenvolupant-se en cercles acadèmics, fins que, en una de les seves primeres aplicacions al món real, es va aconseguir que el programa de Google AlphaGo, construït amb aquest concepte, guanyés el campió mundial de go. Barto i Sutton són reconeguts i acceptats com a pioners de l'aprenentatge per reforç modern, i la tècnica com a fonament de l'esclat modern de la intel·ligència artificial.

En un article de 2019, Sutton va criticar la comunitat de recerca en intel·ligència artificial per no "haver après la lliçó amarga que construir de la manera que ens pensem que pensem no funciona a llarg termini", argumentant que "70 anys de recerca en intel·ligència artificial [havien demostrat] que els mètodes generals que aprofiten la potència de càlcul són al capdavall els més efectius, i de bon tros", superant els intents de construir sobre el coneixement humà en camps específics com la visió per ordinador, el reconeixement de la parla, els escacs o el go.

El 2023, Sutton i John Carmack van anunciar una associació per al desenvolupament de la intel·ligència artificial forta (AGI, per les sigles en anglès).

Premis i honors Sutton és fellow de lAssociation for the Advancement of Artificial Intelligence (AAAI) des de 2001; la seva nominació deia: "Per contribucions significatives a molts temes de l'aprenentatge automàtic, que inclouen l'aprenentatge per reforç, les tècniques de diferències temporals, i les xarxes neuronals." El 2003, va rebre el Premi del President de la International Neural Network Society i el 2013, el premi a la Contribució Extraordinària en Recerca de la Universitat de Massachusetts Amherst. Va rebre el Premi Turing de lAssociation for Computing Machinery juntament amb Andrew Barto; la justificació del premi deia: "Per desenvolupar els fonaments conceptuals i algorísmics de l'aprenentatge per reforç."

El 2016, Sutton fou elegit Fellow de la Royal Society del Canadà. El 2021, fou elegit Fellow de la Royal Society de Londres.

Selecció de publicacions Sutton, R. S., Barto, A. G., Reinforcement Learning: An Introduction. MIT Press, 1998. Traduït al japonès i al rus. Segona edició MIT Press 2018. Sutton, R. S. (Ed.), Reinforcement Learning. Reprinting of a special issue of Machine Learning Journal. Kluwer Academic Press, 1992 Miller, W. T., Sutton, R. S., Werbos, P. J. (Eds.), Neural Networks for Control. MIT Press, 1991.

Referències

Enllaços externs Pàgina de Richard Sutton Publicacions de Richard S. Sutton indexades a Google Scholar.

Categoria:Informàtics canadencs Categoria:Alumnes de la Universitat de Massachusetts Amherst Categoria:Alumnes de la Universitat Stanford Categoria:Premiats amb el Premi Turing Categoria:Membres de la Royal Society Categoria:Científics d'Ohio Categoria:Científics canadencs Categoria:Informàtics estatunidencs Categoria:Nascuts al segle XX