Gemma — семейство свободно доступных языковых моделей, разработанных и выпущенных компанией Google (подразделение Google DeepMind). Модели основаны на той же исследовательской и технологической базе, что и флагманское семейство Gemini, и позиционируются как их облегчённые, высокопроизводительные версии. Название происходит от латинского слова gemma, означающего «драгоценный камень».
Gemma относится к категории open models: Google публикует веса моделей, что позволяет исследователям и разработчикам свободно их использовать, дообучать и распространять, в том числе в коммерческих проектах, при соблюдении условий ответственного использования.
Модели Gemma основаны на архитектуре трансформера в конфигурации «только декодер» (decoder-only), аналогичной моделям GPT. Это означает, что модель генерирует текст авторегрессионно, предсказывая следующий токен на основе всех предыдущих.
Версии
Gemma 1 — первая версия, выпущена 21 февраля 2024 года . В состав вошли две текстовые модели: Gemma 2B (2 миллиарда параметров) и Gemma 7B (7 миллиардов параметров). Исходные модели были преимущественно англоязычными, но обучались на разнообразных данных, включая веб-документы, программный код и математические задачи.
Gemma 2 — анонсирована 27 июня 2024 года . Выпущены модели на 9 и 27 миллиардов параметров. Меньшие варианты обучались с применением методики дистилляции знаний из более крупной модели для повышения качества.
Gemma 3 — выпущена 12 марта 2025 года. Предлагает модели разного размера — 1B, 4B, 12B и 27B параметров . Существуют также Gemma 3n, уменьшенные модели, оптимизированные для использования на телефонах, ноутбуках и планшетах .
Gemma 4 — выпущена 2 апреля 2026 года.
Некоторые особенности
Ротационные позиционные эмбеддинги (RoPE) — вместо абсолютных позиционных эмбеддингов, что позволяет эффективно кодировать позиционную информацию.
Multi-query и Grouped-query attention — для ускорения и экономии памяти в меньших моделях (например, Gemma 2B) используется multi-query attention (единый ключ/значение для всех голов внимания). В Gemma 2 внедрён механизм grouped-query attention, где запросы разбиваются на группы.
Расширенное контекстное окно — модель Gemma 3 1B обрабатывает до 32 тысяч токенов, а более крупные модели (4B, 12B и 27B) — до 128 тысяч токенов.
Мультимодальность — все модели, кроме самой маленькой (1B), способны обрабатывать как текст, так и изображения. Для обработки изображений используется специально адаптированный энкодер SigLIP.
Многоязычная поддержка — в то время как модель Gemma 3 1B работает только с английским языком, все остальные модели (4B, 12B и 27B) поддерживают 140 языков.
Автоматизация контента — модель генерирует описания товаров, email-шаблоны, интерфейсные подсказки, сопроводительные тексты для лендингов или баннеров.
Интеграция в веб-сервисы и SaaS-продукты — с Gemma 3 легко строить фичи на базе текста — как вспомогательные, так и ключевые.
Анализ производительности Gemma 3 показывает прогресс по сравнению с предыдущими моделями. Например, модель Gemma 3 27B IT (Instruction Tuned) достигла рейтинга 1338 на лидерборде Chatbot Arena.
См. Также
Примечания