Minerva — це велика мовна модель розроблена італійською дослідницькою групою Sapienza NLP Римського університету Сапіенца під керівництвом . Навчання проводиться з нуля з основним акцентом на італійській мові.

Це модель для завдань обробки природної мови, здатна розуміти та генерувати текст, схожий на людину. Ця модель використовує методи глибокого навчання, зокрема трансформерну архітектуру, для обробки та створення тексту. Її було навчено на великому масиві текстових даних і було налаштовано для виконання різноманітних мовних завдань, таких як мовний переклад, резюмування тексту та відповіді на запитання.

Передумови Причиною розробки великої мовної моделі, орієнтованої на італійську мову, є неефективність роботи великих мовних моделей, навчених на англомовних чи багатомовних даних. Адаптація існуючих моделей можлива шляхом тонкого налаштування або модифікацією архітектури моделі. Однак такі моделі не в повній мірі представлять специфічні для мови нюанси, а їх продуктивність може погіршитись.

Історія Було створено версії 350M (350 млн. параметрів), 1B (1 млрд. параметрів), 3B (3 млрд. параметрів), та 7B (7 млрд. параметрів), які відрізнялись кількістю токенів та параметрів моделі. Дані, на яких тренувалась кожна з версій, та характеристики версій наведені в таблиці. +Набір данихРозмір набору даних, токенівНазваМова350M1B3B7Bіталійська - - -894 млрд.CulturaXіталійська35 млрд.100 млрд.330 млрд.237 млрд.Wikipediaіталійська - - -1,3 млрд.Gutenbergіталійська - - -0,15 млрд.Wikisourceіталійська - - -0,12 млрд.EurLexіталійська - - -1,6 млрд.італійська - - -1,7 млрд.англійська - - -1,076 млрд.CulturaXанглійська35 млрд.100 млрд.330 млрд. -Wikipediaанглійська - - -5,3 млрд.ArXivанглійська - - -33 млрд.Gutenbergанглійська - - -7 млрд.StackExchangeанглійська - - -22 млрд.The Stack V2програмний код - - -201 млрд.Загальне число токенів70 млрд.200 млрд.660 млрд.2,48 трлн.

Minerva 7B Завдяки 7 мільярдам параметрів Minerva 7B навчено приблизно на 2,5 трильйонах токенів, рівномірно розподілених між текстами італійською та англійською мовами, і містить додаткові 200 мільярдів токенів коду. Ця обширна підготовка дозволяє моделі вміло працювати як з італійською, так і з англійською мовами, що робить її цінним інструментом для виконання різноманітних завдань обробки природної мови.

Розробка Minerva 7B проводилася в рамках проекту Future Artificial Intelligence Research (FAIR) у співпраці з CINECA, який надав суперкомп’ютер Leonardo для навчання. Додаткові внески надійшли від Babelscape і проекту CREATIVE PRIN. Примітно, що моделі Minerva дійсно відкриті, і дані, і моделі доступні для громадськості.

Примітки

Див. також

Римський університет Сапіенца CINECA

Посилання