DBRX — модель с открытым исходным кодом класса LLM, разработанная командой Mosaic ML компании Databricks и выпущенная 27 марта 2024 года. Это трансформерная модель типа (mixture-of-experts) с общим количеством параметров 132 миллиарда. Для обработки каждого токена активно используется 36 миллиардов параметров (4 из 16 экспертов). Компания выпустила две версии модели: (foundation model), которая обучена на общих текстах, и (instruction-tuned variant), дообученную методом контролируемого обучения на наборах данных с примерами "вопрос-ответ".
На момент выпуска модель DRBX превзошла другие известные открытые модели, такие как LLaMA 2 от Meta, Mixtral от Mistral AI и Grok от xAI, в различных тестах, включая понимание языка, способности к программированию и математике.
Модель обучалась в течение 2,5 месяцев на 3 072 GPU Nvidia H100, соединённых с пропускной способностью 3,2 ТБ/с (технология InfiniBand). Стоимость обучения составила $10 млн.
См. также Grok (чат-бот) LLaMA
Примечания
Категория:Большие языковые модели Категория:Нейронные сети