Pesos oberts són els paràmetres apresos publicats d'un model d'intel·ligència artificial entrenat, principalment els seus pesos i biaixos. En una xarxa neuronal artificial, els pesos són valors numèrics que determinen la força amb què les entrades contribueixen als càlculs de la xarxa. La publicació d'aquests valors permet que altres persones descarreguin i utilitzin el model, mentre que el permís per modificar-lo, ajustar-lo o redistribuir-lo depèn de la seva llicència. El terme s'aplica habitualment a models de llenguatge gran i altres models d'intel·ligència artificial generativa.
Característiques Durant l'entrenament, una xarxa neuronal ajusta els seus paràmetres per millorar el seu rendiment. Els pesos determinen la contribució de les entrades a les sumes ponderades, mentre que els biaixos són valors addicionals apresos. Un model descrit com a posseïdor de set mil milions de paràmetres conté aproximadament set mil milions de valors apresos.
Obertura del model Publicar els pesos d'un model pot formar part d'un esforç més ampli per fer que un model d'intel·ligència artificial sigui més transparent i reproduïble. El Model Openness Framework avalua si components com ara els paràmetres del model, el codi font, les dades d'entrenament, els resultats de l'avaluació, els punts de control intermedis i la documentació tècnica estan disponibles públicament sota una llicència oberta. Segons aquest marc, publicar només els pesos finals representa un grau d'obertura inferior al de publicar els materials necessaris per estudiar, modificar i reproduir el model.
Targetes de model Una targeta de model és un document que acompanya un model d'aprenentatge automàtic entrenat que descriu els usos previstos, les limitacions, les dades d'entrenament i els resultats de l'avaluació d'un model. A Hugging Face, les targetes de model s'emmagatzemen com a fitxers Markdown README.md amb metadades addicionals a cada repositori de models, cosa que ajuda els usuaris a avaluar un model abans de descarregar-lo o desplegar-lo.
Comparació amb la intel·ligència artificial de codi obert La Iniciativa de Codi Obert distingeix els pesos oberts de la intel·ligència artificial de codi obert quan els materials necessaris per estudiar i modificar el procés de desenvolupament del model tampoc estan disponibles.
Comparació de pesos oberts i intel·ligència artificial de codi obert ComponentPesos obertsCodi obertPesos i biaixosPublicatPublicatCodi d'entrenamentNo compartitPunts de control intermedisRetingutTotalment compartitConjunt de dades d'entrenamentNo es comparteix ni es divulgaPublicat on està legalment permèsComposició de dades d'entrenamentParcialment revelat o no revelatTotalment revelat
Beneficis i preocupacions Els pesos oberts poden donar suport al desplegament local, la personalització, la recerca independent i la competència sense necessitat d'accés a través de l'API del desenvolupador original. Tanmateix, els pesos àmpliament distribuïts generalment no es poden retirar i es poden modificar per eliminar les salvaguardes. Un informe del 2024 de l'Administració Nacional de Telecomunicacions i Informació va examinar aquests beneficis i riscos i va recomanar una vigilància continuada en lloc de restriccions immediates.
Models de llenguatge gran de pes obert La següent és una llista de models de llenguatge grans i famílies de models notables per als quals s'ha publicat almenys una versió amb pesos accessibles públicament.
BLOOM — BigScience DBRX — Databricks DeepSeek — DeepSeek Falcon — TII Gemma — Google DeepMind GLM — Z.ai GPT-OSS — OpenAI Granite — IBM Jamba — AI21 Labs Kimi — Moonshot AI Llama — Meta AI MiniMax — MiniMax Group Mistral — Mistral AI Nemotron — Nvidia OLMo — Allen Institute for AI Phi — Microsoft Qwen — Alibaba Cloud Step — StepFun
Referències
Categoria:Intel·ligència artificial Categoria:Aprenentatge automàtic