En aprenentatge automàtic, el terme lloro estocàstic és una metàfora per descriure la teoria que els grans models de llenguatge, tot i que són capaços de generar un text plausible, no entenen el significat del llenguatge que processen. El terme va ser encunyat el 2021 per la lingüista Emily M. Bender.

Origen i definició El terme es va utilitzar per primera vegada al document "On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜" d'Emily M. Bender, Timnit Gebru, Angelina McMillan-Major i Margaret Mitchell (utilitzant el pseudònim "Shmargaret Shmitchell"). Van argumentar que els grans models lingüístics (LLM) presenten perills com ara costos ambientals i financers, inescrutabilitat que condueix a biaixos perillosos desconeguts i potencial d'engany, i que no poden entendre els conceptes subjacents al que aprenen.

Etimologia La paraula "estocàstica"del grec antic " " ('basat en conjectures')és un terme de la teoria de la probabilitat que significa "determinat aleatòriament". La paraula "lloro" fa referència a la capacitat dels lloros d'imitar la parla humana, sense entendre'n el significat.

Propòsit En el seu article, Bender et al. argumenten que els LLM estan vinculant probabilísticament paraules i frases sense tenir en compte el significat. Per tant, s'etiqueten com a simples "lloros estocàstics". Segons els professionals de l'aprenentatge automàtic Lindholm, Wahlström, Lindsten i Schön, l'analogia destaca dues limitacions vitals:

Els LLM estan limitats per les dades amb les quals s'entrenen i simplement repeteixen estocàsticament el contingut dels conjunts de dades. Com que només estan elaborant resultats basats en dades d'entrenament, els LLM no entenen si diuen alguna cosa incorrecta o inadequada.

Lindholm et al. van assenyalar que, amb conjunts de dades de mala qualitat i altres limitacions, una màquina d'aprenentatge pot produir resultats "perillosament equivocats".

Implicació de Google Google va demanar a Gebru que retirés el document o n'eliminés els noms dels empleats de Google. Segons Jeff Dean, el document "no va passar pel nostre bar per a la seva publicació". En resposta, Gebru va enumerar les condicions a complir, afirmant que, en cas contrari, podrien "treballar per darrer cop". Dean va escriure que una d'aquestes condicions era que Google revelés qui eren els revisors del document i els seus comentaris específics, cosa que Google va rebutjar. Poc després, va rebre un correu electrònic que deia que Google estava "acceptant la seva renúncia". El seu acomiadament va provocar una protesta dels empleats de Google, que creien que la intenció era censurar les crítiques de Gebru.

Ús posterior El juliol de 2021, l'Institut Alan Turing va acollir una conferència i una taula rodona sobre el document. El 2024, el document va ser citat en 4.789 publicacions. El terme s'ha utilitzat en publicacions dels camps del dret, gramàtica, narrativa, i humanitats. Els autors continuen mantenint les seves preocupacions sobre els perills dels chatbots basats en grans models de llenguatge, com ara GPT-4.

El lloro estocàstic és ara un neologisme utilitzat pels escèptics de la IA per referir-se a la manca de comprensió de les màquines sobre el significat dels seus resultats i, de vegades, s'interpreta com un "insult contra la IA". El seu ús es va expandir encara més quan Sam Altman, director general d'Open AI, va utilitzar el terme irònicament quan va tuitejar: "Sóc un lloro estocàstic i també vosaltres". Aleshores, el terme va ser designat com a Paraula de l'any 2023 relacionada amb la IA per a la Societat Americana de Dialectes, fins i tot per davant de les paraules "ChatGPT" i "LLM".

Alguns investigadors sovint fan referència a la frase per descriure els LLM com a comparadors de patrons que poden generar text plausible semblant a l'ésser humà a través de la seva gran quantitat de dades d'entrenament, simplement fent un lloro de manera estocàstica. Tanmateix, altres investigadors argumenten que els LLM són, de fet, almenys parcialment capaços d'entendre el llenguatge.

Debat Alguns LLM, com ara ChatGPT, s'han convertit en capaços d'interactuar amb els usuaris en converses convincents semblants a les humanes. El desenvolupament d'aquests nous sistemes ha aprofundit en la discussió sobre fins a quin punt els LLM entenen o simplement estan fent de "lloros".

Experiència subjectiva En la ment d'un ésser humà, les paraules i el llenguatge corresponen a coses que s'ha experimentat. Per als LLM, les paraules només poden correspondre a altres paraules i patrons d'ús introduïts a les seves dades d'entrenament. Així, els defensors de la idea dels lloros estocàstics conclouen que els LLM són incapaços d'entendre realment el llenguatge.

Al·lucinacions i errors La tendència dels LLM a fer passar informació falsa com un fet cert es considera com un suport. Anomenades al·lucinacions, els LLM de tant en tant sintetitzaran informació que coincideix amb algun patró, però no amb la realitat. Que els LLM no puguin distingir fets i ficcions porta a afirmar que no poden connectar paraules amb una comprensió del món, com hauria de fer el llenguatge. A més, els LLM sovint no aconsegueixen desxifrar casos gramaticals complexos o ambigus que depenen de la comprensió del significat del llenguatge. A tall d'exemple, manllevant de Saba et al., és el missatge: Els LLM responen afirmativament a això, sense entendre que el significat de "diari" és diferent en aquests dos contextos; primer és un objecte i el segon una institució. A partir d'aquests errors, alguns professionals de la IA conclouen que no són més que lloros estocàstics.

Comparatives i experiments Un argument en contra de la hipòtesi que els LLM són un lloro estocàstic són els seus resultats en les comparatives sobre raonament, sentit comú i la comprensió del llenguatge. L'any 2023, alguns LLM han mostrat bons resultats en moltes proves de comprensió lingüística, com ara la Super General Language Understanding Evaluation (SuperGLUE). Aquestes proves, i la suavitat de moltes respostes de LLM, ajuden fins a un 51% dels professionals de l'IA a creure que realment poden entendre el llenguatge amb prou dades, segons una enquesta del 2022.

Interpretabilitat Una altra tècnica per investigar si els LLM poden entendre s'anomena "interpretabilitat mecanicista". La idea és fer enginyeria inversa d'un gran model de llenguatge per analitzar com processa internament la informació.

Un exemple és Othello-GPT, on es va entrenar un petit transformador per predir els moviments legals d'Othello. S'ha comprovat que aquest model té una representació interna del tauler d'Othello, i que modificar aquesta representació canvia els moviments legals previstos d'Othello de la manera correcta. Això dona suport a la idea que els LLM tenen un "model mundial" i no només fan estadístiques superficials.

En un altre exemple, un petit transformador va ser entrenat en programes informàtics escrits en el llenguatge de programació Karel. Similar a l'exemple d'Othello-GPT, aquest model va desenvolupar una representació interna de la semàntica del programa Karel. La modificació d'aquesta representació comporta els canvis adequats a la sortida. A més, el model genera programes correctes que són, de mitjana, més curts que els del conjunt d'entrenament.

Els investigadors també van estudiar el "grokking", un fenomen en què un model d'IA memoritza inicialment les dades d'entrenament, i llavors, després d'un altre entrenament, de sobte troba una solució que es generalitza a dades no vistes.

Dreceres per al raonament Tanmateix, quan les proves creades per provar la comprensió lingüística de les persones s'utilitzen per provar els LLM, de vegades donen lloc a falsos positius causats per correlacions espúries dins de les dades del text. Els models han mostrat exemples d'aprenentatge de dreceres, que és quan un sistema fa correlacions no relacionades dins de les dades en lloc d'utilitzar una comprensió humana. Un d'aquests experiments realitzat el 2019 va provar el BERT, el LLM de Google, mitjançant la tasca de comprensió de raonament argumental. A BERT se li va demanar que escollis entre 2 afirmacions i trobés la més coherent amb un argument. A continuació es mostra un exemple d'una d'aquestes indicacions:

Els investigadors van trobar que paraules específiques com ara "no" indiquen el model cap a la resposta correcta, permetent puntuacions gairebé perfectes quan s'inclouen, però resultant en una selecció aleatòria quan s'eliminen les paraules indicatives. Aquest problema, i les dificultats conegudes per definir la intel·ligència, fan que alguns argumentin que tots els punts de referència que troben la comprensió en els LLM són defectuosos, que tots permeten dreceres per a la comprensió falsa.

Referències

Bibliografia complementària

Enllaços externs "On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜" còpia a Wikimedia Commons

Categoria:Aprenentatge automàtic