miniatura|Arquitectura d'ELMo. Primer processa els tokens d'entrada en vectors d'incrustació mitjançant una capa d'incrustació (essencialment una taula de cerca), després aplica un parell de LSTM directes i inversos per produir dues seqüències de vectors ocults, després aplica un altre parell de LSTM directes i inversos, i així successivament. ELMo (incrustacions del model de llenguatge) és un mètode d'incrustació de paraules per representar una seqüència de paraules com una seqüència corresponent de vectors. Va ser creat per investigadors de l'Institut Allen per a la Intel·ligència Artificial i la Universitat de Washington i es va publicar per primera vegada el febrer de 2018. És un LSTM bidireccional que pren com a entrades el nivell de caràcter i produeix incrustacions a nivell de paraula, entrenades en un corpus d'uns 30 milions d'oracions i mil milions de paraules.
L'arquitectura d'ELMo aconsegueix una comprensió contextual dels tokens. La representació de paraules contextualitzada en profunditat és útil per a moltes tasques de processament del llenguatge natural, com ara la resolució de correferències i la resolució de polisèmia. miniatura|Com es transforma successivament un token sobre capes creixents d'ELMo. Al principi, el token es converteix en un vector mitjançant una capa lineal, donant el vector d'incrustació. A la següent capa, un LSTM directe produeix un vector ocult. , mentre que un LSTM cap enrere produeix un altre vector ocult A la següent capa, els dos LSTM produeixen i , i així successivament. ELMo va ser històricament important com a pioner del preentrenament generatiu autosupervisat seguit d' afinament, on un model gran s'entrena per reproduir un corpus gran, i després el model gran s'augmenta amb pesos addicionals específics de la tasca i s'afina amb dades de tasques supervisades. Va ser un pas fonamental en l'evolució cap a la modelització de llenguatges basada en transformadors.
Arquitectura ELMo és un LSTM bidireccional multicapa sobre una capa d'incrustació de tokens. La sortida de tots els LSTM concatenats consisteix en la incrustació de tokens.
La seqüència de text d'entrada es mapeja primer mitjançant una capa d'incrustació en una seqüència de vectors. A continuació, dues parts s'executen en paral·lel sobre ella. La part directa és un LSTM de 2 capes amb 4096 unitats i projeccions de 512 dimensions, i una connexió residual de la primera a la segona capa. La part posterior té la mateixa arquitectura, però processa la seqüència de darrere cap endavant. Les sortides dels 5 components (capa d'incrustació, dues capes LSTM directes i dues capes LSTM posteriors) es concatenen i es multipliquen per una matriu lineal ("matriu de projecció") per produir una representació de 512 dimensions per token d'entrada.
ELMo va ser preentrenat en un corpus de text d'1.000 milions de paraules. La part directa s'entrena predient repetidament el següent token, i la part inversa s'entrena predient repetidament el token anterior.
Després que el model ELMo sigui preentrenat, els seus paràmetres es congelen, excepte la matriu de projecció, que es pot ajustar per minimitzar les pèrdues en tasques lingüístiques específiques. Aquest és un exemple primerenc del paradigma de preentrenament-ajustament. L'article original ho va demostrar millorant l'estat de la tècnica en sis tasques de referència de PNL.
Representació contextual de paraules L'arquitectura d'ELMo aconsegueix una comprensió contextual dels tokens. Per exemple, el primer LSTM directe d'ELMo processaria cada token d'entrada en el context de tots els tokens anteriors, i el primer LSTM invers processaria cada token en el context de tots els tokens posteriors. El segon LSTM directe els incorporaria per contextualitzar encara més cada token.
La representació de paraules contextualitzada profundament és útil per a moltes tasques de processament del llenguatge natural, com ara la resolució de correferències i la resolució de polisèmia. Per exemple, considerem l'oració
Ella va anar al banc a retirar diners.
Per representar el "banc" de tokens, el model ha de resoldre la seva polisèmia en context.
El primer LSTM directe processaria "bank" en el context de "She went to the", cosa que li permetria representar la paraula com una ubicació cap a la qual es dirigeix el subjecte. El primer LSTM invers processaria "banc" en el context de "retirar diners", cosa que li permetria desambiguar la paraula com a referència a una institució financera. El segon LSTM directe pot processar "banc" utilitzant el vector de representació proporcionat pel primer LSTM invers, cosa que li permet representar-lo com una institució financera a la qual es dirigeix el subjecte.
Context històric ELMo és un enllaç en l'evolució històrica de la modelització lingüística. Considerem un problema simple de classificació de documents, on volem assignar una etiqueta (per exemple, "correu brossa", "no és correu brossa", "política", "esports") a un fragment de text determinat.
L'enfocament més senzill és l'enfocament de la "bossa de paraules", on cada paraula del document es tracta de manera independent i la seva freqüència s'utilitza com a característica per a la classificació. Això era computacionalment barat però ignorava l'ordre de les paraules i el seu context dins de l'oració. GloVe i Word2Vec es van basar en això aprenent representacions vectorials fixes (incrustacions) per a paraules basades en els seus patrons de coocurrència en grans corpus de text.
Igual que BERT (però a diferència de la "bossa de paraules" com ara Word2Vec i GloVe), les incrustacions de paraules d'ELMo són sensibles al context, produint diferents representacions per a paraules que comparteixen la mateixa ortografia. Es va entrenar en un corpus d'uns 30 milions d'oracions i mil milions de paraules. Anteriorment, s'utilitzava LSTM bidireccional per a la representació contextualitzada de paraules. ELMo va aplicar la idea a gran escala, aconseguint un rendiment d'avantguarda.
Després de la publicació de l'arquitectura Transformer el 2017, l'arquitectura d'ELMo va canviar d'un LSTM bidireccional multicapa a un codificador Transformer, donant lloc a BERT. BERT té un flux de treball similar de preentrenament i ajustament fi, però utilitza un Transformer amb implicacions per a un entrenament més paral·lelitzable.
Referències
Categoria:Aprenentatge automàtic Categoria:Intel·ligència artificial