Больша́я языкова́я моде́ль (БЯМ; ) — языковая модель, основанная на нейронной сети с множеством параметров (миллиарды весовых коэффициентов и более), которая проходит предварительное обучение на обширных массивах неразмеченного текста методами самообучения (обучения c псевдометками, созданными самой моделью, а не внешним учителем), а затем подвергается тонкой настройке (fine-tuning) с применением обучения с подкреплением на основе отзывов людей (RLHF) для согласования результатов генерации с человеческими предпочтениями (alignment problem) и инструкциями.
Большие языковые модели возникли и стали популярны после 2017 года, во время очередного бума искусственного интеллекта, поскольку именно эти модели начали эффективно справляться с широким спектром современных интеллектуальных задач. Это сместило фокус исследований обработки естественного языка с предыдущей парадигмы обучения специализированных контролируемых моделей для конкретных задач. В то же время не следует путать понятия ИИ и больших языковых моделей: если ИИ — это область компьютерных наук, охватывающая решение широкого круга интеллектуальных задач, то БЯМ/LLM — это лишь один (хоть и самый популярный в середине 2020-х) из многих инструментов, который, даже развившись в мультимодальные системы с поддержкой изображений, видео и аудио (так называемые MLLM), остаётся, по сути, специализированным вероятностным алгоритмом предсказания последовательностей, а не универсальным интеллектом (AGI).
Термин «большой» в названии больших языковых моделей характеризует два ключевых аспекта: количество параметров и объём обучающих данных. Параметры представляют собой переменные и веса, используемые моделью для формирования прогнозов при обработке языка. Размерность современных языковых моделей варьируется от сотен миллионов до более чем триллиона параметровНапример, модель BERTBASE (2018) содержит 110 млн параметров, а GPT-4 (2023), LLaMa 4 Behemoth (представлена в 2025 году, выпуск отложен) — более триллиона.. Второй аспект термина «большой» касается беспрецедентного объёма данных для обучения, достигающего нескольких петабайт и содержащего триллионы токенов — базовых единиц текста или кода, обычно состоящих из нескольких символов, которые обрабатываются моделью.
Генеративные предобученные трансформеры (GPT и аналоги) представляют собой наиболее мощные БЯМ, которые могут адаптироваться к конкретным задачам посредством дополнительного обучения или подсказок, обладают способностью прогнозировать синтаксические, семантические и онтологические структуры языка, одновременно наследуя неточности и предвзятости из обучающих данных.
В текстовом формате БЯМ применяются для анализа и извлечения информации, суммаризации, ответов на вопросы, логических рассуждений, анализа тональности, создания контента и программного кода, а также машинного перевода. Мультимодальные возможности этих моделей охватывают работу с речью, аудио, изображениями и видео, включая создание подписей к изображениям, распознавание объектов, генерацию визуального контента, транскрипцию речи и анализ видеоматериалов.
История В истории развития языковых моделей до 2017 года наблюдалось несколько значимых достижений:
В 1990-х годах IBM разработала модели выравнивания, которые стали пионерами в области статистического языкового моделирования; в 2001 году сглаженная n-грамм модель, обученная на 0,3 млрд слов, достигла наилучших показателей перплексии для своего времени; В 2000-х годах с распространением интернета исследователи начали создавать масштабные языковые датасеты («веб как корпус») для обучения статистических языковых моделей; К 2009 году статистические языковые модели доминировали над символьными в большинстве задач обработки языка благодаря их способности эффективно использовать большие объёмы данных. В 2012 году нейронные сети стали доминировать в обработке изображенийChen L., Li S., Bai Q. et al. Review of Image Classification Algorithms Based on Convolutional Neural Networks // «Remote Sensing». — 2021. — Vol. 13. — № 22. — Article 4712. — P. 1—51. — DOI: 10.3390/rs13224712., после чего их начали применять и в моделировании языка. Google в 2016 году перевёл свою систему перевода на нейронный машинный перевод (Neural Machine Translation), который был реализован с использованием sequence-to-sequence или глубоких LSTM-сетей, поскольку трансформеры на тот момент ещё не существовали. В 2017 году на конференции NeurIPS исследователи Google представили архитектуру трансформера в статье «Внимание — это всё, что вам нужно»Vaswani A., Shazeer N., Parmar N. et al. Attention is All you Need // «Advances in Neural Information Processing Systems». — 2017. — Vol. 30. — P. 1—11., целью которой было усовершенствовать технологию seq2seq 2014 года, опираясь в основном на механизм внимания, разработанный Бахданау и соавторами в 2014 году. В 2018 году была представлена модель BERT (encoder-only модель, в отличие от оригинального трансформера с блоками энкодера и декодера), которая быстро стала повсеместно использоваться. Академическое и исследовательское применение BERT начало снижаться в 2023 году после стремительного улучшения возможностей decoder-only моделей (таких как GPT) решать задачи через промптингMovva R., Balachandar S., Peng K. et al. Topics, Authors, and Institutions in Large Language Model Research: Trends from 17K arXiv Papers // Proceedings of the 2024 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. — 2024. — Vol. 1. — P. 1223—1243..
История развития моделей GPT отражает стремительную эволюцию крупных языковых моделей. Хотя GPT-1 появилась в 2018 году, именно GPT-2 (2019) привлекла широкое внимание из-за первоначального решения OpenAI не выпускать её публично из-за потенциальных злоупотреблений. GPT-3 (2020) продолжила эту практику и до сих пор доступна только через API без возможности локального запуска. Настоящий прорыв в общественном сознании произошёл в 2022 году с выпуском ориентированного на потребителя ChatGPT, вызвавшего значительный медийный резонанс. GPT-4 (2023) получила признание за повышенную точность и мультимодальные возможности, хотя OpenAI не раскрыла её архитектуру и количество параметров. Выпуск ChatGPT стимулировал использование крупных языковых моделей в различных областях компьютерных наук, включая робототехнику и разработку программного обеспечения. В 2024 году OpenAI представила модель рассуждений o1, способную генерировать длинные цепочки мыслей перед выдачей окончательного ответа.
В 2021 году произошел значительный прорыв в развитии больших языковых моделей с появлением целого ряда новых разработок от ведущих технологических компаний. Среди них: Transformer-X (Google), GPT-Neo (EleutherAI), XLM-R (Facebook), LaMDA (Google), Copilot (GitHub), GPT-J (EleutherAI), Jurassic-1 (AI21), Megatron-Turing NLG, Codex (OpenAI), WebGPT (OpenAI) и BERT 2 (Google). Каждая модель внесла уникальный вклад в развитие обработки естественного языка (NLP), однако особое внимание исследователей привлекла техника обучения LoRA, которая стала центральным элементом в этой области.
В период с 2022 года БЯМ (LLM) с открытым исходным кодом стали приобретать популярность, начиная с BLOOM и LLaMA, хотя оба имели ограничения по сфере применения. Модели Mistral AI (Mistral 7B и Mixtral 8x7b) получили более либеральную лицензию Apache.
В марте 2022 года представлен новый метод квантования GPTQ, способный сжимать модели с сотнями миллиардов параметров до 3—4 бит на параметр без существенной потери точности, позволяя проводить инференс БЯМ с существенным сокращением необходимой видеопамяти, что сделало широко доступным запуск БЯМ на потребительских графических ускорителях.
23 мая 2023 года была представлена технология QLoRA (Quantized Low-Rank Adaptation), обеспечивающая ускоренный fine-tuning квантизированных моделей без потери качества и с меньшим объёмом видеопамяти.
В марте 2023 года представлена библиотека llama.cpp для запуска больших языковых моделей без зависимостей, первоначально оптимизированное для работы на CPU. Проект включает командную строку, веб-интерфейс и поддерживает различные аппаратные платформы (x86, ARM, CUDA, Metal), использует собственный формат файлов GGUF (введен в августе 2023 года) для хранения тензоров и метаданных, поддерживает различные методы квантизации для снижения потребления памяти.
Распространение MoE-моделей начинается с декабря 2023 года, компания Mistral AI выпустила Mixtral 8x7B — высококачественную разреженную БЯМ (LLM) типа mixture of experts (SMoE) с открытыми весами, лицензированную по Apache License 2.0, которая превосходила Llama 2 70B на большинстве тестов за счёт шестикратного ускорения вывода.
Начиная с 2023 года многие БЯМ приобрели мультимодальные возможности, позволяющие им обрабатывать или генерировать различные типы данных помимо текста, включая изображения, видео и аудио. Такие системы получили название «больших мультимодальных моделей» (LMMs), расширив функциональность языковых моделей за пределы исключительно текстовой обработки.
В период с апреля 2024 по февраль 2025 года появилось множество значимых разработок в области больших языковых моделей (LLM) и мультимодальных моделей (VLM). DeepSeek-AI представила серию моделей DeepSeek-V2 (май 2024), DeepSeek-V3 (декабрь 2024), использующих новую архитектуру с Multi-head Latent Attention (MLA). Компания MiniMax выпустила MiniMax-01 с архитектурой Lightning Attention в январе 2025 года. NVIDIA разработала Star-Attention (ноябрь 2024), обеспечивающую 11-кратное ускорение работы с длинным контекстом. Microsoft представила технологию YOCO (You Only Cache Once) в мае 2024 года. Moonshot AI выпустила Mooncake (июнь 2024) — архитектуру для эффективного обслуживания LLM. TriDao и соавторы опубликовали FlashAttention-3 (июль 2024), а Microsoft представила MInference 1.0 в том же месяце для ускорения работы с длинным контекстом.
В октябре 2024 года Anthropic запустила новую функцию «computer use» для обновленной модели Claude 3.5 Sonnet, позволяющую ИИ взаимодействовать с компьютерными интерфейсами подобно человеку. Эта возможность даёт Claude способность интерпретировать изображения экрана, перемещать курсор, нажимать кнопки и вводить текст через виртуальную клавиатуру. 23 января 2025 OpenAI представила Operator для подписчиков ChatGPT Pro в США — веб-приложение, способное выполнять простые задачи в браузере, например, бронировать билеты на концерты или заполнять онлайн-заказы продуктов. Работает на базе новой модели Computer-Using Agent (CUA).
В январе 2025 года компания DeepSeek выпустила DeepSeek R1 — модель с открытыми весами, содержащую 671 млрд параметров, которая по производительности сравнима с OpenAI o1, но работает с гораздо меньшими затратами.
В феврале 2025 года представлена модель LLaDA (Large Language Diffusion with masking), применяющая диффузионный подход к большим языковым моделям.
Характеристики Хотя термин «большая языковая модель» не имеет формального определения, он обычно относится к моделям глубокого обучения, имеющим количество параметров порядка миллиардов и более. БЯМ — модели общего назначения, которые превосходно справляются с широким спектром задач, в отличие от обучения одной конкретной задаче (например, анализу настроений, распознаванию именованных сущностей или математическим рассуждениям). Несмотря на обучение на простых задачах, таких как предсказание следующего слова в предложении, нейронные языковые модели с достаточным обучением и количеством параметров схватывают большую часть синтаксиса и семантики человеческого языка. Кроме того, большие языковые модели демонстрируют значительные общие знания о мире и способны «запоминать» большое количество фактов во время обучения.
Виды архитектур