Вялікая моўная мадэль () — гэта моўная мадэль, створаная на аснове вялікай колькасці тэкстаў з дапамогай машыннага навучання. Вялікія моўныя мадэлі прызначаныя для задач апрацоўкі натуральнай мовы, у прыватнасці генерацыі тэксту. Згенераваны тэкст з'яўляецца супастаўляльным па характарыстыках з натуральнай чалавечай мовай, што прывяло да шырокага выкарыстання вялікіх моўных мадэляў у чат-ботах.
Найбольш магутнымі вялікімі моўнымі мадэлямі з'яўляюцца так званыя генератыўныя трансформеры з папярэднім навучаннем (. Аднак нават яны наследуюць недакладнасці і скажэнні з даных, на якіх адбываецца іх навучанне.
Вялікія моўныя мадэлі, акрамя генерацыі, здольныя падсумаваць і перакласці тэкст, а таксама прапанаваць ход разважання над пастаўленай задачай. Яны аб'ядноўваюць здольнасці падтрымліваць размову, генераваць код, шукаць інфармацыю і абгрунтоўваць сцверджанні. Раней кожная з гэтых задач патрабавала асобнай праграмнай сістэмы.
Вялікія моўныя мадэлі з'яўляюцца вынікам развіцця статыстычных моўных мадэляў і мадэляў на рэкурэнтных нейронных сетках. Механізм увагі, распрацаваны Дзмітрыем Багданавым, стаў крокам для стварэння трансформеннай архітэктуры ў 2017 годзе. Трансформенная архітэктура дазволіла апрацоўваць большы кантэкст і масштабаваць навучанне на небывалай колькасці даных. Гэта ў сваю чаргу прывяло да стварэння першых прарыўных мадэляў, такіх як GPT і BERT.
Навучанне з падмацаваннем () было адаптавана для тонкай наладкі вялікіх моўных мадэляў, каб пашырыць іх паводзіны за межы прагназавання наступнага токена.
Гл. таксама Бум штучнага інтэлекту
Крыніцы
Катэгорыя:Апрацоўка натуральнай мовы Катэгорыя:Штучны інтэлект