Генеративний попередньо навчений трансформер 1 (GPT-1) — перша з великих мовних моделей OpenAI після винаходу архітектури трансформера Google у 2017 році. У червні 2018 року OpenAI опублікував статтю під назвою «Покращення розуміння мови шляхом генеративного попереднього навчання», в якій вони представили цю початкову модель разом із загальною концепцією генеративного попередньо навченого трансформера.
До цього моменту найефективніші нейронні моделі NLP переважно використовували навчання з учителем на основі великих обсягів даних, позначених вручну. Ця залежність від навчання з учителем обмежувала використання наборів даних, які не були добре анотовані, крім того, робила навчання надзвичайно дорогим та трудомістким; багато мов (таких як суахілі або гаїтянська креольська) важко перекладати та інтерпретувати за допомогою таких моделей через брак доступного тексту для побудови корпусу. На противагу цьому, «напівнавчений» підхід GPT включав два етапи: ненавчений генеративний етап «попереднього навчання», на якому для встановлення початкових параметрів використовувалася мета моделювання мови, та етап контрольованого дискримінативного «тонкого налаштування», на якому ці параметри адаптувалися до цільового завдання.
Використання архітектури трансформера, на відміну від попередніх методів, що включали RNN з доповненою увагою, забезпечило GPT-моделям більш структуровану пам'ять, ніж можна було досягти за допомогою рекурентних механізмів; це призвело до «надійної продуктивності передачі між різноманітними завданнями».
Див. також
Список моделей великих мов Штучний інтелект з відкритим кодом
Примітки