La finestra de context d'un model de llenguatge gran (LLM) és la quantitat màxima de text o altra entrada tokenitzada disponible per al model alhora quan genera la sortida. Normalment es mesura en tokens, que són unitats produïdes pel tokenitzador del model en lloc de paraules o caràcters. En termes pràctics, la finestra de context és el material que el model pot "veure" mentre produeix una resposta; qualsevol cosa fora d'aquesta finestra no està directament disponible tret que es resumeixi, es recuperi o es proporcioni de nou. Una finestra de context més llarga pot permetre que un model treballi amb indicacions, converses, documents, bases de codi o passatges recuperats més llargs sense comprimir o descartar primer tanta informació.Nir Ratner et al., "Parallel Context Windows for Large Language Models", Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics, 2023, p. 6383-6402, doi:10.18653/v1/2023.acl-long.352.
La mida pràctica de les finestres de context ha augmentat ràpidament a mesura que s'han desenvolupat els sistemes LLM. Alguns models estan limitats per la longitud de les seqüències utilitzades durant l'entrenament, mentre que les variants d'atenció i els mètodes de codificació posicional poden permetre que els models operin en seqüències més llargues que les que es veuen durant l'entrenament.Ofir Press et al., "Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation", arXiv:2108.12409, 2021. A mitjans de la dècada del 2020, els sistemes de context llarg havien informat de finestres de context que anaven des de centenars de milers fins a milions de tokens; els investigadors de Google van informar d'avaluacions de Gemini 1.5 en tasques de recuperació de fins a 10 milions de tokens.Machel Reid et al., "Gemini 1.5: Unlocking multimodal understanding across millions of tokens of context", arXiv:2403.05530, 2024.
Una finestra de context més gran no significa necessàriament que un model pugui utilitzar tot el context igual de bé. A "Lost in the Middle", Liu et al. van descobrir que el rendiment en tasques de context llarg sovint era pitjor quan la informació rellevant apareixia al mig d'una entrada en lloc de prop del principi o del final.Nelson F. Liu et al., "Lost in the Middle: How Language Models Use Long Contexts", Transactions of the Association for Computational Linguistics, 2024, vol. 12, p. 157-173, doi:10.1162/tacl_a_00638. Altres punts de referència han avaluat la capacitat de context llarg mitjançant tasques que van més enllà de la simple recuperació, incloent-hi la resposta a preguntes de diversos documents, la comprensió de diàlegs llargs, la comprensió de repositoris de codi i el raonament de dades estructurades.Cheng-Ping Hsieh et al., "RULER: What's the Real Context Size of Your Long- Context Language Models?", arXiv:2404.06654, 2024.Yushi Bai et al., "LongBench v2: Towards Deeper Understanding and Reasoning on Realistic Long-context Multitasks", Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics, 2025, p. 3639-3664, doi:10.18653/v1/2025.acl-long.183.
Definició i funcionament Un model de llenguatge és un model que aprèn a predir el text següent basant-se en el text anterior, utilitzant un mecanisme d'atenció que li permet centrar-se en les parts més rellevants del text. El model de llenguatge s'entrena amb grans quantitats de dades textuals de diverses fonts com ara el web, llibres, articles , etc. El model de llenguatge es pot adaptar a tasques específiques, com ara la traducció, la generació de textos, la comprensió de textos, etc., utilitzant una tècnica anomenada ajustament fi.
La finestra de context d'un model de llenguatge és la longitud màxima de text que el model pot prendre com a entrada per fer les seves prediccions. Aquesta longitud està limitada per la memòria i la capacitat de càlcul del model, que augmenta quadràticament amb el nombre de tokens. Per exemple, el model GPT-3 té una finestra de context de tokens, que corresponen a aproximadament paraules. En canvi, el Claude 2.1 LLM té una finestra de context de tokens, o aproximadament paraules, o més de pàgines de text. La finestra de context determina la capacitat del model per capturar relacions a llarga distància entre paraules, frases o paràgrafs, cosa que és important per a la coherència i la rellevància del text generat o analitzat.
Reptes i perspectives La finestra de context dels models de llenguatge planteja diverses qüestions, tant tècniques com ètiques. Tècnicament, hi ha mètodes per augmentar la finestra de context sense augmentar el cost computacional, com ara l'ús de memòria virtual, que permet al model accedir a la informació emmagatzemada al disc, o l'ús de la recursivitat, que permet al model processar el text en blocs successius. Aquests mètodes tenen com a objectiu millorar la capacitat dels models de llenguatge per gestionar textos llargs i complexos, com ara articles, llibres i diàlegs , etc.
Des d'un punt de vista ètic, la finestra contextual dels models lingüístics planteja preguntes sobre la fiabilitat i la responsabilitat del model. De fet, els LLM poden produir o reproduir informació falsa, esbiaixada o tòxica, depenent de les dades amb què s'entrenen. Per tant, és essencial verificar la qualitat i l'origen de les fonts utilitzades pels models, així com controlar la rellevància i la consistència dels resultats que produeixen. També cal conscienciar els usuaris dels models lingüístics sobre les limitacions i els riscos d'aquestes tecnologies i proporcionar-los els mitjans per utilitzar-les de manera ètica i responsable.
Mides de la finestra de context per a diferents models d'idioma La taula següent mostra, per a diferents models d'idioma, el nombre de paràmetres i la mida de la finestra de context en els tokens. Models lingüísticsSocietats holdingNombre de paràmetresMides de la finestra de context en tokensTuring NLGMicrosoft17.000 milions512Orca 2-7bMicrosoft7.000 milions1024Orca 2-17bMicrosoft17.000 milions2048GopherDeepMind1.300 milions2048GPT-3OpenAI175.000 milions2048GPT-3.5OpenAI175.000 milions2048GPT-3.5 turboOpenAI175.000 milions16.385GPT-4OpenAI1760.000 milions (*)32.768Turbo GPT-4OpenAI1760.000 milions (*)131.072LlamaMeta70.000 milions2048Llama 2Meta70.000 milions4096Mistral 7BIA Mistral7.000 milions32.768Mixtral 8x7BIA Mistral45.000 milions32.768BERT (Base)Google110 milions512BERT (Gran)Google335 milions512LaMDAGoogle540.000 milions2048PalmeraGoogle540.000 milions100.000PaLM 2Google300.000 milions100.000ClaudiAntròpic13.000 milions100.000Claudi 2Antròpic540.000 milions100.000Claudi 2.1Antròpic540.000 milions200.000FLORACIÓCara d'abraçada176.000 milions2048Starling-7BEstornell7.000 milions2048TulúTulú7.000 milions2048Openchat-3.5Openchat7.000 milions2048Zèfir-7bZèfir7.000 milions2048Xat neuronal-7bXat neuronal7.000 milions2048
Referències
Categoria:Intel·ligència artificial