miniatura|Una il·lustració dels components principals del model de transformador del document original. "L'atenció és tot el que cal" és un document d'investigació històric de 2017 sobre aprenentatge automàtic escrit per vuit científics que treballaven a Google. El document va introduir una nova arquitectura d'aprenentatge profund coneguda com a transformador, basada en el mecanisme d'atenció proposat el 2014 per Bahdanau et al. Es considera un article fonamental en la intel·ligència artificial moderna, i un contribuent principal a l'auge de la IA, ja que l'enfocament del transformador s'ha convertit en l'arquitectura principal d'una gran varietat d'IA, com ara grans models de llenguatge. En aquell moment, l'objectiu de la investigació era millorar les tècniques de Seq2seq per a la traducció automàtica, però els autors van més enllà en el document, preveient el potencial de la tècnica per a altres tasques com la resposta a preguntes i el que ara es coneix com a IA generativa multimodal.

El títol del paper és una referència a la cançó "All You Need Is Love" dels Beatles. El nom "Transformer" es va triar perquè a Jakob Uszkoreit, un dels autors del diari, li agradava el so d'aquesta paraula.

Un primer document de disseny es titulava "Transformers: Autoatenció i processament iteratiu per a diverses tasques", i incloïa una il·lustració de sis personatges de l'espectacle animat Transformers. L'equip es va anomenar Team Transformer.

Alguns dels primers exemples en què l'equip va provar la seva arquitectura Transformer inclouen la traducció de l'anglès a l'alemany, la generació d'articles de la Viquipèdia sobre "The Transformer" i l'anàlisi. Aquests van convèncer l'equip que el Transformer és un model de llenguatge de propòsit general, i no només bo per a la traducció. miniatura|L'atenció és tot el que necessiteu: Arquitectura de codificador-descodificador L'any 2025 el diari ha estat citat més de 173.000 vegades.

Autors Els autors del treball són: Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan Gomez, Łukasz Kaiser i Illia Polosukhin. Els vuit autors eren "col·laboradors iguals" al document; l'ordre enumerat va ser aleatoritzat. L'article de Wired destaca la diversitat del grup:

Sis dels vuit autors van néixer fora dels Estats Units d'Amèrica; els altres dos són fills de dos alemanys que portaven la targeta verda que estaven temporalment a Califòrnia i d'un nord-americà de primera generació la família del qual havia fugit de la persecució, respectivament.

Després del treball, cadascun dels autors va deixar Google per unir-se a altres empreses o per fundar startups. Diversos d'ells van expressar la sensació de no poder innovar i expandir el Transformer en la direcció que volen, si s'haguessin quedat a Google.

Mètodes comentats i presentats El document és més conegut per la introducció de l'arquitectura Transformer, que forma l'arquitectura subjacent per a la majoria de les formes de grans models de llenguatge (LLM) moderns. Una raó clau per la qual l'arquitectura és preferida per la majoria dels LLM moderns és la paral·lelització de l'arquitectura sobre els seus predecessors. Això garanteix que les operacions necessàries per a l'entrenament es puguin accelerar en una GPU, permetent tant temps d'entrenament més ràpids com models de mides més grans.

Els mecanismes següents van ser introduïts pel document com a part del desenvolupament de l'arquitectura del transformador.

Atenció i autoatenció a escala del producte puntual miniatura|L'atenció és tot el que necessiteu: atenció multicapçalera L'ús del mecanisme d'atenció i d'autoatenció del producte de punt escalat en lloc d'una xarxa neuronal recurrent o memòria a llarg termini (que es basa en la recurrència) permet un millor rendiment tal com es descriu al paràgraf següent. El document descriu l'atenció escalada del producte de punts de la següent manera:

on , , són, respectivament, la consulta, la clau, les matrius de valors i és la dimensió dels valors.

En el context específic de la traducció en què es va centrar l'article, les matrius de consulta i clau solen representar-se en incrustacions corresponents a l'idioma d'origen, mentre que la matriu de valors correspon a la llengua d'arribada.

Atenció multicaps

En el mecanisme d'autoatenció, les consultes (Q), les claus (K) i els valors (V) es generen dinàmicament per a cada seqüència d'entrada (limitada normalment per la mida de la finestra de context), permetent al model centrar-se en diferents parts de la seqüència d'entrada en diferents passos. L'atenció multicapçal millora aquest procés mitjançant la introducció de múltiples capçals d'atenció paral·lels. Cada cap d'atenció aprèn diferents projeccions lineals de les matrius Q, K i V. Això permet que el model capturi diferents aspectes de les relacions entre paraules de la seqüència simultàniament, en lloc de centrar-se en un sol aspecte.

D'aquesta manera, l'atenció multicaps garanteix que les incrustacions d'entrada s'actualitzen des d'un conjunt de perspectives més variades i diverses. Després de calcular les sortides d'atenció de tots els caps, es concatenen i es passen per una transformació lineal final per generar la sortida.

Codificació posicional

Com que el model Transformer no és un model seq2seq i no es basa en la seqüència del text per realitzar la codificació i la descodificació, el document es basava en l'ús de funcions d'ona sinusoïdal i cosinus per codificar la posició del testimoni a la incrustació. Els mètodes introduïts en el document es discuteixen a continuació:

on , , corresponen a la posició de la paraula, l'índex de dimensió actual i la dimensió del model respectivament. La funció sinus s'utilitza per als índexs parells de la incrustació mentre que la funció cosinus s'utilitza per als índexs senars. La resultant La incrustació s'afegeix llavors a la paraula en la posició corresponent respecte a la finestra de context actual. El document comenta específicament per què es va triar aquest mètode descrivint:

"Hem escollit la versió sinusoïdal perquè pot permetre al model extrapolar-se a longituds de seqüència més llargues que les que es troben durant l'entrenament".

Context històric Entrenament Tot i que l'objectiu principal del document en aquell moment era millorar la traducció automàtica, el document també va parlar de l'ús de l'arquitectura en l'anàlisi de circumscripcions anglesa, tant amb conjunts de dades limitats com de grans dimensions, aconseguint una puntuació alta sense ajustar específicament la tasca que indica la naturalesa prometedora del model per utilitzar-lo en una gran varietat de tasques de propòsit general de seq2seq.

Conjunt de dades El model de traducció de l'anglès a l'alemany es va formar amb el conjunt de dades anglès-alemany de WMT de 2014 que consta de prop de 4,5 milions de frases derivades de TED Talks i articles de notícies d'alta qualitat. Es va entrenar un model de traducció independent sobre el conjunt de dades molt més gran del 2014 WMT anglès-francès, format per 36 milions de frases. Tots dos conjunts de dades es van codificar amb codificació de parells de bytes.

Maquinari Els models es van entrenar amb 8 GPU NVIDIA P100. Els models bàsics es van entrenar per a 100.000 passos i els models grans es van entrenar per a 300.000 passos, cada pas va trigar uns 0,4 segons a completar-se per als models bàsics i 1,0 segons per als models grans. El model base s'ha entrenat durant un total de 12 hores, i el model gran ha entrenat un total de 3,5 dies. Tant els models bàsics com els grans superen l'estat de l'art del 2017 tant en anglès-alemany com en anglès-francès alhora que aconsegueixen el cost de formació comparativament més baix.

Hiperparàmetres i regularització Per al seu model de transformador de 100 M de paràmetres, els autors van augmentar la taxa d'aprenentatge linealment durant els primers 4000 passos (escalfament) i la van disminuir proporcionalment a l'arrel quadrada inversa del nombre de pas actual. Les capes d'abandonament es van aplicar a la sortida de cada subcapa abans de la normalització, les sumes de les incrustacions i les codificacions posicionals. La taxa d'abandonament es va establir en 0,1. Es va aplicar el suavització de l'etiqueta amb un valor de 0,1 que "millora la precisió i la puntuació BLEU".

Referències

Categoria:Aprenentatge automàtic Categoria:Obres del 2017 Categoria:Història de la intel·ligència artificial