Un model de llenguatge extens d'1,58 bits (LLM d'1,58 bits, també LLM ternari) és una versió d'un model de llenguatge gran de transformador amb pesos que utilitzen només tres valors: -1, 0 i +1. Aquesta restricció teòricament permet que el model substitueixi les costoses multiplicacions per sumes i redueixi la memòria d'emmagatzematge. Com que el rendiment final de la tasca i la perplexitat dels LLM d'1,58 bits, almenys per a mides de model més petites (fins a 3-4B paràmetres), són propers als seus homòlegs de "precisió total" (FP16 o BF16 de 16 bits), aquest disseny permet assolir els mateixos objectius d'intel·ligència artificial amb requisits de maquinari, latència i esforç d'entrenament molt més baixos. miniatura|Pros i contres dels motors de cerca, els gràfics de coneixement i els grans models de llenguatge, 2025 El nom prové del fet que un sol trit, un equivalent aritmètic ternari d'un bit que pot prendre els valors {-1, 0, 1}, porta bits d'informació. Els models LLM d'1,58 bits també s'anomenen LLM d'1 bit (els veritables models d'1 bit també existeixen).

BitNet El 2024, Ma et al., investigadors de Microsoft, van declarar que el seu model d'1,58 bits, BitNet b1.58, és comparable en rendiment al Llama 2 de 16 bits i obre l'era de l'LLM d'1 bit. Els creadors de BitNet no van utilitzar la quantització de pesos posterior a l'entrenament, sinó que es van basar en la nova transformació BitLinear que va substituir la nn. Capa lineal del disseny tradicional del transformador.

El 2025, investigadors de Microsoft van publicar un model de codi de pesos oberts i inferència oberta BitNet b1.58 2B4T que demostrava un rendiment competitiu amb els models de precisió completa amb paràmetres 2B i fitxes d'entrenament 4T.

Crítica Alguns investigadors assenyalen que les lleis d'escalat dels models de llenguatge grans només afavoreixen els pesos de bits baixos en el cas de models subentrenats. A mesura que augmenta el nombre de fitxes d'entrenament, afloren les deficiències de la quantització de bits baixos.

Referències

Categoria:Intel·ligència artificial