Генеративный предварительно обученный трансформер () — тип нейронных языковых моделей, которые обучаются на больших наборах текстовых данных, чтобы генерировать текст, схожий с человеческим. Предобучение относится к начальному процессу обучения на корпусе, в результате которого модель учится предсказывать следующее слово в тексте и получает основу для успешного выполнения дальнейших задач, не имея больших объёмов данных. GPT являются «трансформерами», которые представляют собой тип нейросетей, использующих механизм самосвязываемости для обработки последовательных данных. Они могут быть дообучены для различных задач обработки естественного языка (NLP), таких как генерация текста, машинный перевод и классификация текста. Так же может переводится как General Purpose Technology (GPT) — технология общего назначения (ТОН). Технология влияющая на большинство областей общества, не только в одной или нескольких отраслей. За всю историю человечества, таких технологий, по разным классификациям было немного, например 24 (по Липси и Карлоу).
Языковые модели GPT от OpenAI
11 июня 2018 года компания OpenAI опубликовала статью под названием «Improving Language Understanding by Generative Pre-Training», в которой был представлен Генеративный предобученный трансформер (GPT). До этого момента лучшие нейронные модели обработки естественного языка в основном использовали обучение с учителем на больших объёмах вручную размеченных данных. Это ограничивало их применение на недостаточно размеченных наборах данных, а также делало крайне дорогим и времязатратным обучение очень больших языковых моделей. Кроме того, многие языки (такие как суахили или гаитянский креольский) были трудны в переводе и интерпретации с помощью таких моделей из-за отсутствия достаточного количества текстов на данных языках. Предложенный OpenAI подход обучения на основе модели GPT включает два этапа:
несобственное генеративное «предварительное» обучение, на котором устанавливаются начальные параметры путём обучения модели языковым моделированием собственное «дообучающее» обучение, на котором эти параметры адаптируются к конкретной задаче.
+Версии GPT от OpenAIИспользованиеАрхитектураКоличество параметровТренировочные данныеДата выпускаОбщее12-уровневый декодер-трансформер с 12 головками (без кодировщика), за которым следует линейный софтмакс.117 миллионовBookCorpus: 4,5 ГБ текста из 7000 неизданных книг разных жанров.11 июня 2018ОбщееGPT-1, но с изменённой .1,5 миллиарда (1 273 000 %)WebText: 40 ГБ текста и 8 миллионов документов из 40 миллионов веб-страниц, за которые проголосовали на Reddit.14 февраля 2019GPT-3ОбщееGPT-2, но с изменениями для возможности масштабирования в большем объёме.175 миллиардов (11 566 %)570 ГБ обычного текста, 0,4 трлн токенов. В основном содержит данные из наборов данных Common Crawl, WebText, английской Википедии, а также BookCorpus.11 июня 2020InstructGPT (GPT-3.5)РазговорGPT-3, для выполнения инструкций с использованием обратной связи с человеком.175 миллиардов4 марта 2022ChatGPTДиалогИспользует GPT-3.5 и (подход к ) как с обучением с учителем, так и с RLHF (обучение с подкреплением на основе отзывов людей).30 ноября 2022GPT-4ОбщееТакже обучен на основе предсказания текста и основан на обучении с подкреплением. Принимает как текст, так и изображения. Дополнительные подробности не разглашаются.14 марта 2023
Другие (производные) модели GPT После того, как OpenAI выпустила свою модель GPT-3, EleutherAI выпустила ряд больших языковых моделей (LLM) с открытым исходным кодом, и её модель GPT-J привлекла значительное внимание как альтернативная. С этих пор появляются новые языковые модели на основе GPT. +Основные GPT от других разработчиковИспользованиеАрхитектураКоличество параметровТренировочные данныеДата выпускаРазработчикGPT-JОбщееПараллельный декодер6 миллиардовНабор данных объёмом 825 ГБ с открытым исходным кодом (называемый «кучей»)9 июня 2021EleutherAIBLOOMОбщееТрансформер только для декодера176 миллиардовДанные 46 естественных языков и 13 языков программирования; Всего 1,6 терабайт предварительно обработанного текста.6 июля 2022Hugging FaceBioGPTБиомедицинский контентКак в GPT-2 Medium (24 слоев, 16 головок)347 миллионовНепустые записи из PubMed (всего 1,5 миллиона).24 сентября 2022Microsoft
См. также GPT-6
Примечания
Категория:Виртуальные собеседники Категория:Программное обеспечение по алфавиту Категория:Машинное обучение Категория:Большие языковые модели Категория:Глубокое обучение Категория:Обработка естественного языка Категория:Генеративный искусственный интеллект