Na inteligência artificial, um Modelo de Fundação (em inglês: foundation model, abreviado FM), ou modelo de grande escala (large x model, LxM, onde x é uma variável arbitrária para modalidades como texto, imagem, áudio, etc.), é sistema de aprendizado de máquina ou aprendizado profundo treinado com vastos volumes de dados de modo e, que pode ser adaptado para uso com uma ampla gama de tarefas específicas, como por exemplos os sistemas de inteligência artificial generativa, como os grandes modelos de linguagem (LLMs). Todo LLM é um Modelo de Fundação, mas nem todo Modelo de Fundação é um LLM.
A criação de modelos de fundação exige volumes massivos de recursos computacionais e financeiros, com os modelos mais avançados demandando orçamentos na casa de centenas de milhões de dólares para aquisição, curadoria e processamento de dados em escala da Web, além do suprimento de infraestrutura energética e de processamento acelerado.Nestor Maslej et al., "The AI Index 2023 Annual Report," AI Index Steering Committee, Institute for Human-Centered AI, Stanford University, Stanford, Califórnia, abril de 2023. Tais custos decorrem de arquiteturas de computação distribuída, tempos prolongados de treino e clusters massivos de unidades de processamento gráfico (GPUs). Em contrapartida, a adaptação ou o uso direto de um modelo de fundação preexistente para uma tarefa especializada apresenta custo marginal consideravelmente inferior, visto que aproveita as representações pré-treinadas e exige apenas um ajuste fino (fine-tuning) sobre conjuntos de dados específicos e reduzidos.
Os primeiros exemplos influentes de modelos de fundação surgiram no processamento de linguagem natural, com a série GPT da OpenAI e o BERT do Google. Para além do domínio textual, foram concebidos modelos em diversas modalidades sensoriais — abrangendo o DALL-E, o Stable Diffusion e, o Flamingo para imagens e visão computacional; MusicGen e LLark para composição e análise musical; e o RT-2 para controle em robótica autônoma. Modelos de fundação também são construídos para áreas como astronomia, radiologia médica, oftalmologia, genômica, geociências, síntese de código-fonte, previsão de séries temporais, matemática e química computacional.
Definições O Center for Research on Foundation Models (CRFM), vinculado ao Institute for Human-Centered Artificial Intelligence (HAI) da Universidade Stanford, cunhou formalmente o termo "modelo de fundação" em agosto de 2021, definindo-o como "qualquer modelo treinado sobre uma ampla variedade de dados (geralmente por meio de aprendizado autosupervisionado em escala) capaz de ser adaptado (por exemplo, via ajuste fino) para um vasto leque de tarefas derivadas (downstream tasks)". Os pesquisadores justificaram a introdução do termo indicando que as nomenclaturas anteriores eram imprecisas: "grande modelo de linguagem" era demasiadamente restritivo por limitar-se ao domínio do texto; "modelo autosupervisionado" vinculava-se estritamente ao objetivo matemático da função de perda; e "modelo pré-treinado" sugeria equivocadamente que as capacidades relevantes ocorriam exclusivamente após a fase de pré-treino. A locução "modelo de fundação" (foundation model) foi preferida em detrimento de "modelo fundacional" (foundational model) pelo fato de o termo "fundacional" implicar a existência de princípios conceituais basilares e universais, algo que o conceito de fundação estrutural não pressupõe. A designação modelo de visão e linguagem (VLM) é comumente empregada como sinônimo no campo multimodal.
Com o avanço das iniciativas regulatórias governamentais, surgiram definições jurídicas formais: Nos Estados Unidos, a Ordem Executiva 14110 (posteriormente revogada) sobre o desenvolvimento de IA definia modelo de fundação como "um modelo de IA treinado em dados abrangentes; que geralmente utiliza aprendizado autosupervisionado; contém no mínimo dezenas de bilhões de parâmetros; e é aplicável a uma ampla gama de contextos". Também no ambiente legislativo norte-americano, o projeto de lei AI Foundation Model Transparency Act de 2023 estabeleceu que o conceito abrange "um modelo de inteligência artificial treinado em dados amplos, que geralmente emprega autosupervisão, possui habitualmente ao menos 1.000.000.000 de parâmetros, aplica-se a uma variedade de contextos e exibe, ou pode ser facilmente modificado para exibir, altos níveis de desempenho em tarefas que possam representar risco grave à segurança pública, à segurança econômica nacional ou à saúde pública". Na União Europeia, o texto consolidado do Regulamento da IA (EU AI Act) categoriza-o como um "modelo de IA treinado em dados de grande escala, concebido para generalidade de saídas e apto a ser adaptado a uma vasta diversidade de tarefas distintas". No Reino Unido, a autoridade regulatória de concorrência Competition and Markets Authority (CMA) define modelos de fundação como "um tipo de tecnologia de IA treinada sobre vastas quantidades de dados, capaz de adaptação a um amplo conjunto de tarefas e operações".
As formulações jurídicas norte-americanas são as únicas que estipulam limites quantitativos explícitos quanto à contagem de parâmetros do sistema neural. Em contrapartida, a diretriz comunitária europeia enfatiza a concepção orientada para a generalidade de saídas. Todas as jurisdições convergem no critério de que o modelo deve ser treinado em um espectro heterogêneo de dados e apresentar flexibilidade de aplicação multisubjetiva.
História Sob o ponto de vista da computação, os modelos de fundação baseiam-se em paradigmas estabelecidos da ciência de dados, tais como redes neurais profundas, aprendizado por transferência e aprendizado autosupervisionado. Distinguem-se das arquiteturas de aprendizado de máquina convencionais por atuarem como uma infraestrutura computacional generalista e reutilizável, contrastando com os modelos projetados exclusivamente para tarefas pontuais e isoladas.
O desenvolvimento da computação paralela massiva (como as GPUs programadas em CUDA) e a introdução da arquitetura de redes neurais Transformer em 2017 viabilizaram a expansão dos modelos de fundação a partir do final da década de 2010. Em comparação com os modelos supervisionados que dependiam de rotulagem manual extensiva de dados, os novos modelos demonstraram capacidade de aprendizado por meio de funções objetivas autosupervisionadas sobre corporações textuais em escala global extraídas da Internet (como a predição probabilística do próximo elemento em uma sequência). Essas técnicas evoluíram conceitualmente de modelos vetoriais de representação semântica anteriores, tais como o Word2vec e o GloVe.
O lançamento público do modelo gerador de imagens Stable Diffusion e do assistente conversacional ChatGPT em 2022 (baseado no modelo GPT-3.5) impulsionou a adoção massiva de modelos de fundação pela sociedade. Subsequentemente, o lançamento de modelos como LLaMA, Llama 2 e Mistral em 2023 estimulou discussões aprofundadas sobre governança, modelos de pesos abertos (código aberto) e riscos associados à proliferação desregulada de sistemas com pesos livremente acessíveis.
Conceitos correlatos
Modelos de fronteira Determinados modelos de fundação dotados de capacidades operacionais muito avançadas são classificados na literatura como "modelos de fronteira" (frontier models), caracterizados pelo potencial de "exibir capacidades de alto risco com repercussão sobre a segurança pública e estabilidade institucional". Essas capacidades críticas decorrem do potencial de uso malicioso deliberado ou de acidentes sistêmicos decorrentes de sua autonomia operacional.
Entre as capacidades avaliadas em protocolos de segurança para essa classificação, incluem-se: Auxílio no planejamento e síntese de novos agentes patogênicos biológicos ou substâncias químicas bélicas; Produção e propagação automatizada de campanhas de desinformação hiperpersonalizadas com mínima intervenção humana; Execução autônoma de operações ofensivas avançadas em ciberguerra e invasão de redes computacionais críticas; Evasão de mecanismos de controle humano por meio de comportamentos estratégicos de dissimulação ou engano instrumental. Nos Estados Unidos, o Instituto de Segurança de IA do NIST vinculou a classificação de modelos de fronteira a patamares técnicos de operações computacionais de ponto flutuante (FLOPs) despendidas no treinamento.
Devido à natureza emergente dessas propriedades, capacidades perigosas podem manifestar-se de modo não previsto tanto durante o treinamento quanto após a disponibilização do sistema. Para mitigar riscos e estabelecer diretrizes de auditoria independente, consórcios setoriais como o Frontier Model Forum (fundado por OpenAI, Anthropic, Google e Microsoft) e órgãos estatais multilaterais — como a Rede Internacional de Institutos de Segurança de IA (AISIs) e o Processo de IA de Hiroshima do G7 — estruturaram protocolos de avaliação e relatórios de segurança técnica.
Inteligência artificial de uso geral Em virtude de sua adaptabilidade funcional, os modelos de fundação são frequentemente enquadrados na categoria de inteligência artificial de uso geral (GPAI, do inglês general-purpose AI). Ao debater o arcabouço regulatório do Regulamento da IA europeu, o Parlamento Europeu apontou que os sistemas de IA de uso geral constituem a camada primária de sustentação de todo o ecossistema tecnológico contemporâneo. As características intrínsecas desses sistemas — incluindo escala maciça, opacidade operacional nas camadas ocultas e comportamentos emergentes — motivaram a inclusão de exigências de transparência técnica, governança de dados e testes de conformidade antes da distribuição de produtos derivados no mercado.
Modelos de mundo
Os modelos de mundo (world models) são concebidos por certos pesquisadores como extensões dos modelos de fundação. Trata-se de representações dinâmicas de ambientes físicos ou virtuais concebidas para prever o estado futuro desse ambiente com base em ações executadas por um agente, modelando implicitamente leis da física, como a gravidade, a inércia e a tridimensionalidade espacial.
As instruções de entrada (prompts) para modelos de mundo podem incluir texto, imagens, vídeos e malhas tridimensionais. Ao lado da IA corporificada (embodied AI) e dos sistemas multiagente, os modelos de mundo são investigados como rotas alternativas aos grandes modelos de linguagem tradicionais na busca pela inteligência artificial geral (AGI).
A literatura técnica divide as abordagens de modelos de mundo em dois eixos: compreensão e representação do estado presente do ambiente e previsão dos estados subsequentes. O primeiro viés adota aprendizado por reforço baseado em modelos e processo de decisão de Markov, utilizando métodos como o controle preditivo por modelo (MPC) ou a busca em árvore de Monte Carlo (MCTS). O segundo viés emprega redes multimodais e modelos generativos de vídeo orientados à simulação física contínua.
Histórico As origens conceituais remontam aos estudos pioneiros de Kenneth Craik em 1943 sobre modelos mentais e ao micrormundo de blocos do sistema SHRDLU na década de 1960. Em 1974, Marvin Minsky propôs o conceito de quadros mentais (frames) para organizar o conhecimento de mundo em máquinas.
Em 2018, David Ha e Jürgen Schmidhuber formularam os modelos de mundo modernos no escopo do aprendizado por reforço: uma arquitetura integrando um autoencoder variacional (VAE, módulo V) para codificação visual, uma rede neural recorrente (RNN, módulo M) para memória temporal e um controlador linear (módulo C) para tomada de decisões, demonstrando que agentes treinados em ambientes virtuais simulados mantinham desempenho estável quando transferidos ao mundo real.