LLaMA

LLaMA () é uma família de modelos grandes de linguagem (LLM - Large Language Model) lançado pela Meta AI em fevereiro de 2023.

O modelo ganhou notoriedade devido aos seus índices de desempenho. Segundo os desenvolvedores do LLaMA, a variante de 13 bilhões de parâmetros superou o GPT-3 (de 175 bilhões de parâmetros) na maioria dos benchmarks de processamento de linguagem natural (NLP, do inglês Natural Language Processing). Além disso, o modelo de maior escala demonstrou competitividade frente a sistemas de última geração, como o PaLM e o Chinchilla. Diferente de LLMs mais robustas, que costumam ser restritas a interfaces de programação de aplicações (APIs) limitadas, a Meta disponibilizou os pesos do LLaMA à comunidade de pesquisa sob uma licença não comercial. Contudo, uma semana após o anúncio, os parâmetros do modelo foram vazados ao público via BitTorrent no fórum 4chan.

Em 18 de julho de 2023, em colaboração com a Microsoft, a Meta anunciou o Llama 2. Esta segunda geração foi treinada e publicada em três dimensões distintas, variando de 7 bilhões a 70 bilhões de parâmetros.

Arquitetura A LLaMA usa a arquitetura transformadora, a arquitetura padrão para modelagem de idiomas desde 2018.

Existem pequenas diferenças arquitetônicas. Comparado com GPT-3 LLaMA:

Usa a função de ativação SwiGLU em vez de ReLU. Usa incorporações posicionais rotativas em vez de incorporações posicionais absolutas. Usa a normalização da camada quadrática média em vez da normalização da camada padrão.

Conjunto de dados de treinamento Os desenvolvedores do LLaMA concentraram seus esforços em dimensionar o desempenho do modelo aumentando o volume de dados de treinamento, em vez do número de parâmetros, argumentando que o custo dominante para LLMs é fazer inferência no modelo treinado em vez do custo computacional do processo de treinamento.

O LLaMA foi treinado em 1,4 trilhão de tokens, extraídos de fontes de dados publicamente disponíveis, incluindo:

Páginas da Web raspadas por CommonCrawl. Repositórios de código-fonte aberto de código-fonte do GitHub. Wikipédia em 20 línguas diferentes. Livros de domínio público do Projeto Gutenberg. O código-fonte LaTeX para artigos científicos carregados no ArXiv. Perguntas e respostas dos sites do Stack Exchange.

Lançamento O LLaMA foi anunciado em 23 de fevereiro de 2023, por meio de uma postagem no blog e um artigo descrevendo o treinamento, a arquitetura e o desempenho do modelo. O código usado para treinar o modelo foi divulgado publicamente sob a licença GPL 3 de código aberto. O acesso aos pesos do modelo foi gerenciado por um processo de inscrição, com acesso a ser concedido "caso a caso a pesquisadores acadêmicos; aqueles afiliados a organizações governamentais, da sociedade civil e acadêmica; e laboratórios de pesquisa da indústria em todo o mundo".

Em 2 de março de 2023, um torrent contendo os pesos do LLaMA foi carregado, com um link para o torrent compartilhado no quadro de imagens do 4chan e posteriormente se espalhando pelas comunidades online de IA. Nesse mesmo dia, foi aberto um pull request no repositório principal do LLaMA, solicitando a inclusão do link magnético na documentação oficial. Em 4 de março, uma solicitação pull foi aberta para adicionar links aos repositórios HuggingFace contendo o modelo. Em 6 de março, a Meta entrou com pedidos de remoção para remover os repositórios HuggingFace vinculados na solicitação pull, caracterizando-o como "distribuição não autorizada" do modelo. HuggingFace atendeu aos pedidos. Em 20 de março, a Meta entrou com uma solicitação de remoção do DMCA por violação de direitos autorais contra um repositório contendo um script que baixava o LLaMA de um espelho, e o GitHub atendeu no dia seguinte. Desde 25 de março, o Facebook não respondeu à solicitação pull contendo o link magnético.

As reações ao vazamento variaram. Alguns especularam que o modelo seria usado para fins maliciosos, como spam mais sofisticado. Alguns celebraram a acessibilidade do modelo, bem como o fato de que versões menores do modelo podem ser executadas de forma relativamente barata, sugerindo que isso promoverá o florescimento de desenvolvimentos de pesquisa adicionais. Vários comentaristas, como Simon Willison, compararam o LLaMA ao Stable Diffusion, um modelo de texto para imagem que, ao contrário dos modelos comparativamente sofisticados que o precederam, foi distribuído abertamente, levando a uma rápida proliferação de ferramentas, técnicas e software associados.

Reprodução do conjunto de dados Em 17 de abril de 2023, a Together lançou um projeto chamado RedPajama para reproduzir e distribuir uma versão de código aberto do conjunto de dados LLaMA. O conjunto de dados tem aproximadamente 1,2 trilhão de tokens e está disponível publicamente para download.

Formulários O Centro de Pesquisa em Modelos Fundamentais (CRFM) da Universidade Stanford Institute for Human-Centered Artificial Intelligence (HAI) lançou o Alpaca, uma receita de treinamento baseada no modelo LLaMA 7B que usa o método "Self-Instruct" de ajuste de instrução para adquirir capacidades comparáveis ao modelo text-davinci-003 da série OpenAI GPT-3 a um custo modesto. Vários projetos de código aberto continuam esse trabalho de ajuste fino do LLaMA com o conjunto de dados Alpaca.

Categoria:Meta Platforms