Un modelo de fundación, é un modelo de aprendizaxe automática ou aprendizaxe profunda que é adestrado nunha gran cantidade de datos de tal xeito que pode ser aplicado a múltiples casos.Competition and Markets Authority (2023). AI Foundation Models: Initial Report. Available at: https://assets.publishing.service.gov.uk/media/65081d3aa41cc300145612c0/Full_report_.pdf Os modelos de fundación transformaron a intelixencia artificial (IA) e impulsaron novas aplicacións da IA na nosa sociedade como ChatGPT. O termo modelo de fundación, ou en inglés Foundation Model foi creado e popularizado polo Centro de Investigación en Modelos de Fundación do Instituto de Intelixencia Artifical Humano-céntrica de Stanford.
Os modelos de fundación son modelos creados para poder realizar unha diversa gama de casos. Debido a isto, a súa creación require habitualmente dunha gran cantidade de recursos tanto computacionais como de cantidade de datos, sendo os máis caros ate o momento de centos de millóns de dólares.Nestor Maslej, Loredana Fattorini, Erik Brynjolfsson, John Etchemendy, Katrina Ligett, Terah Lyons, James Manyika, Helen Ngo, Juan Carlos Niebles, Vanessa Parli, Yoav Shoham, Russell Wald, Jack Clark, and Raymond Perrault, "The AI Index 2023 Annual Report," AI Index Steering Committee, Institute for Human-Centered AI, Stanford University, Stanford, CA, abril de 2023. Por outro lado, o proceso de adaptar un modelo de fundación existente para un uso específico é moito menos esixente a nivel de recursos.
Os primeiros exemplos de modelos de fundación son modelos lingüísticos como BERT de Google e a serie de "GPT-n" de OpenAI. Máis aló do campo textual, tamén se crearon modelos de fundación en outros campos como para a creación de imaxes (DALL-E e Flamingo), no eido musical (MusicGen), ou no control de robots (RT-2). Actualmente, estanse investigando as súas aplicacións en outros moitos campos como a astronomía, radioloxía, xenómica, física, programación e matemáticas.
Detalles técnicos
Modelización Para que un modelo de fundación xeneralice eficazmente a un gran rango de aplicacións este ten que adquirir representacións ricas do dato de adestramento. Como resultado disto adoitan empregarse na súa construción arquitecturas expresivas que procesan de forma eficiente datos a grande escala. Actualmente, os Transformer, dentro das súas diversas modalidades, é a arquitectura escollida de facto par construír este modelo.
Notas
Categoría:Lingüística computacional Categoría:Aprendizaxe profunda