A Generative Pre-trained Transformer 2 (röviden GPT-2) az OpenAI által fejlesztett második jelentős nagy nyelvi modell, amely a generatív előtanított transzformer (GPT) modellszéria meghatározó tagja. A GPT-2 modellt egy kifejezetten erre a célra létrehozott, WebText nevű, mintegy 8 millió weboldal tartalmát felölelő adathalmazon tanították be. A modellt eredetileg 2019 februárjában csak korlátozott formában mutatták be, a teljes, 1,5 milliárd paramétert tartalmazó változat nyilvános közzétételére pedig 2019. november 5-én került sor, miután az OpenAI felmérte a lehetséges kockázatokat.
A GPT-2 jelentős előrelépést képviselt elődjéhez, a GPT-1-hez képest: nagyságrendileg tízszer több paraméterrel rendelkezett, és egy szintén tízszer nagyobb, gondosan szűrt tanító adathalmazon készült. A modellt úgy tervezték, hogy általános célú nyelvi feladatokat oldjon meg előzetes specifikus finomhangolás nélkül, pusztán a bemeneti szöveg folytatásának valószínűségi alapon történő előrejelzésével. Ez a képessége lehetővé tette számára, hogy meglepően jól teljesítsen olyan változatos feladatokban, mint a gépi fordítás, kérdések megválaszolása, szövegek automatikus összefoglalása, valamint koherens és kontextuálisan releváns szövegek generálása, amelyek minősége gyakran megközelítette az emberi írásét (bár hosszabb szövegrészletek esetén hajlamos volt ismétlődésekre vagy a koherencia elvesztésére). A GPT-2 képességeit később jelentősen felülmúlta a GPT-3 és a GPT-4, azonban ezekkel ellentétben a GPT-2 modell súlyai és kódja (a kezdeti késleltetést követően) nyilvánosan elérhetővé váltak, és a modell maga nem igényelt API-hozzáférést a használathoz.
A GPT-2 – hasonlóan a GPT család többi tagjához – a generatív előtanított transzformer architektúrára épül, amely egy mély neurális hálózat, konkrétan a transzformer modell egy változata. Ez az architektúra kulcsfontosságú eleme a figyelem-mechanizmus (attention), amely lehetővé teszi, hogy a modell szelektíven összpontosítson a bemeneti szöveg legrelevánsabb részeire a kimenet generálása során, felváltva ezzel a korábbi, szekvenciális feldolgozásra épülő rekurrens (RNN) vagy konvolúciós (CNN) megközelítéseket. A figyelemmechanizmus nemcsak a hosszabb távú függőségek hatékonyabb modellezését teszi lehetővé, hanem jelentős mértékű párhuzamosítást is biztosít a számítások során. Ez hozzájárult ahhoz, hogy a transzformer-alapú modellek számos nyelvi feldolgozási benchmarkon felülmúlják a hagyományos RNN/CNN/LSTM-alapú rendszereket.
Tanítás A transzformer architektúra által kínált párhuzamosítási lehetőségek kiaknázásával a GPT modellek tanítása lényegesen nagyobb szövegkorpuszokon vált lehetővé, mint a korábbi NLP modelleké. Míg a GPT-1 elsősorban a generatív előtanítás és a transzformerek életképességét demonstrálta, a GPT-2 fejlesztése során a kutatók már az extrém nagy adathalmazokon tanított hálózatok úgynevezett „feltörekvő képességeit” (emergent abilities) kívánták vizsgálni. A korábban elterjedten használt, de gyakran zajos CommonCrawl webarchívum helyett az OpenAI egy új, magasabb minőségűnek szánt WebText nevű adathalmazt hozott létre. Ezt úgy állították össze, hogy a Reddit közösségi platformról gyűjtöttek olyan kimenő webes hivatkozásokat, amelyeket a felhasználók legalább 3 pozitív értékeléssel (karma) láttak el 2017 vége előtt. Ezt a kiindulási linkgyűjteményt felhasználva töltötték le a hivatkozott weboldalak tartalmát. A nyers korpuszt ezt követően alaposan megtisztították: a HTML kódot eltávolították, hogy csak a tiszta szöveges tartalom maradjon; kiszűrték a duplikált oldalakat a redundancia csökkentése érdekében; és eltávolították az összes Wikipédia-oldalt. Ez utóbbira azért volt szükség, mert a Wikipédia gyakori komponense számos más benchmark adathalmaznak, és annak benne hagyása a tanító adatokban a modell túltanulásához (overfitting) vezethetett volna ezeken a teszteken.
Bár a GPT-2 tanításának publikált óradíja ($256/óra) ismert, a teljes tanítási folyamat pontos időtartama nem nyilvános, így a teljes költség csupán becsülhető. Összehasonlításképpen, más korabeli nagy nyelvi modellek, mint például a Google által fejlesztett BERT vagy az XLNet, tanítási költségei részletesebben dokumentáltak (a BERT esetében körülbelül 6 900$, míg az XLNet esetében már 245 000$ volt a becsült költség).
Kiadás A GPT-2 modellt 2019. február 14-én jelentették be. A The Verge technológiai hírportál értékelése szerint bár a modell által generált szövegek alaposabb vizsgálat után többnyire megkülönböztethetők voltak az emberi írástól, a GPT-2 mégis „a nyelvi generáló rendszerek egyik legizgalmasabb példája” volt akkoriban: Adj meg neki egy kitalált címsort, és képes megírni a hozzá tartozó teljes cikket – beleértve a fiktív idézeteket és statisztikákat is. Ha megadod egy novella első mondatát, folytatja a történetet, elmesélve, mi történik a karaktereddel. Megfelelő kezdő prompt („indító szöveg”) esetén még rajongói történetek (fan fiction) írására is képes.
A The Guardian napilap a modell kimenetét „hihető újságcikk-stílusúnak” nevezte. Kelsey Piper a Vox hírportálon úgy fogalmazott: „ez az egyik legmenőbb mesterséges intelligencia rendszer, amit valaha láttam”, hozzátéve tréfásan, hogy „és talán pont ez veszi majd el a munkámat”. A The Verge külön kiemelte a GPT-2 „lenyűgöző” rugalmasságát: a modell anélkül volt képes elfogadható szinten teljesíteni gépi fordítás, szövegösszefoglalás és kérdés-válasz feladatokban, hogy kifejezetten ezekre a célokra lett volna finomhangolva.
Az Amsterdami Egyetem kutatói egy módosított Turing-teszt segítségével vizsgálták a modell képességeit, és azt találták, hogy a kísérletben részt vevő emberek nem minden esetben tudták megbízhatóan megkülönböztetni a GPT-2 által generált verseket az emberek által írt költeményektől.
Korlátozások és a részleges kiadás politikája bélyegkép|Illusztráció a GPT-2 képességeiről: bár a „Skub” egy nem létező, kitalált termék, még a kisebb, DistilGPT2 nevű változat is képes meggyőzőnek tűnő érveket generálni mind a termék mellett, mind ellene, pusztán a megfelelő utasítás („prompt”) alapján. Ellentétben a korábbi OpenAI modellekkel (mint a GPT-1), a GPT-2-t kezdetben nem tették teljes egészében nyilvánosan elérhetővé a bejelentéskor. Az OpenAI erre a lépésre a modell által jelentett potenciális biztonsági és visszaélési kockázatokra hivatkozott. A teljes modellhez kezdetben csak néhány kiválasztott sajtóorgánum és kutatópartner kapott korlátozott hozzáférést. Az OpenAI azzal indokolta a modell visszatartását, hogy annak képességei – különösen a koherens és meggyőzőnek tűnő szövegek generálása – alkalmassá tehetik rosszindulatú célokra, például nagy mennyiségű spam vagy megtévesztő álhír (fake news) automatizált előállítására. Ennek demonstrálására az OpenAI bemutatta, hogyan képes a GPT-2 akár végtelen számú, látszólag hiteles pozitív vagy negatív termékértékelést generálni egy adott termékről.
A bejelentés komoly vitát váltott ki az AI közösségen belül. Felmerültek etikai aggályok a modell potenciális felhasználásával kapcsolatban, beleértve a gyűlöletbeszéd, trágár vagy rasszista tartalmak generálását, valamint azt a veszélyt, hogy a modell által előállított, nagy mennyiségű, látszólag értelmes, de valójában hamis vagy félrevezető tartalom eláraszthatja az internetet. Válaszul erre a potenciális fenyegetésre az Allen Institute for Artificial Intelligence (AI2) egy eszközt fejlesztett ki a „neurális álhírek” (azaz AI által generált hamis szövegek) felismerésére.
Ugyanakkor a vélemények megoszlottak arról, hogy az OpenAI által felvázolt veszélyek valóban indokolták-e a modell visszatartását. Több kritikus szerint az OpenAI túlzottan óvatosan járt el, és lépése ellentétes volt a kutatási eredmények nyílt megosztásának tudományos elvével. Egyes kutatók, mint például Anima Anandkumar, úgy vélték, hogy a fenyegetés mértékét eltúlozták. Mások azzal érveltek, hogy a korábbi technológiák, mint például a képszerkesztő szoftverek (pl. Photoshop), sem okoztak társadalmi összeomlást annak ellenére, hogy alkalmasak voltak megtévesztő tartalmak létrehozására, és hangsúlyozták a technológia széleskörű megismerésének és vizsgálatának fontosságát a kockázatok felmérése érdekében.
A 774M paraméteres modell kiadása Bár a teljes, 1,5 milliárd paraméteres modellt és a WebText tanító adathalmazt kezdetben nem tették közzé, az OpenAI által publikált részletes technikai leírás és a transzformer architektúra nyíltsága lehetővé tette, hogy független kutatók és fejlesztők közösségi erőfeszítéssel elkezdjék a modell reprodukálását. Így születtek meg olyan projektek, mint az OpenGPT-2 (a modell újraimplementálása) és az OpenWebText (a WebText adathalmaz reprodukálására tett kísérlet). A külső nyomásra és a közösségi reakciókra válaszul 2019. augusztus 20-án az OpenAI nyilvánosságra hozott egy közepes méretű, 774 millió paramétert tartalmazó változatot a GPT-2 modellből.
A teljes, 1,5 milliárd paraméteres modell kiadása Az OpenAI a kisebb modellek fokozatos kiadása során figyelemmel kísérte azok felhasználását és a lehetséges visszaéléseket. Miután úgy ítélték meg, hogy a korai aggodalmak a modell széleskörű, rosszindulatú felhasználásával kapcsolatban – legalábbis rövid távon – nem igazolódtak be, és nem történt jelentős, dokumentált visszaélés a részlegesen kiadott modellekkel, 2019 novemberében az OpenAI végül közzétette a teljes, 1,5 milliárd paraméteres GPT-2 modellt. Ez a legnagyobb változat a már említett, kb. 40 GB méretű WebText adathalmazon tanult, amely mintegy 8 millió dokumentumot tartalmazott.
Kisebb és közepes méretű változatok A teljes, 1,5 milliárd paraméteres modell mellett az OpenAI kisebb változatokat is elérhetővé tett, hogy alacsonyabb számítási kapacitással rendelkező felhasználók és kutatók is hozzáférhessenek a technológiához. Ezek közé tartozik a 124 millió paraméteres „small” (kicsi) és a 355 millió paraméteres „medium” (közepes) verzió. Ezek a modellek, valamint a későbbiekben közösségileg finomhangolt variánsok széles körben elérhetők olyan platformokon, mint a Hugging Face modell-tárháza.
Korlátozások bélyegkép|Példa a GPT-2 tematikus koherenciájára és kreativitására, még szürreális prompt esetén is: a modell egy fiktív CNN-stílusú cikket generál, amelyben Donald Trump egy anime-karaktert dicsér. Ugyanakkor a hosszabb, több bekezdésen átívelő generált szövegekben gyakran megfigyelhetők ismétlődések és logikai következetlenségek, amelyek jelzik a modell korlátait. Bár a GPT-2 lenyűgöző képességeket mutatott a természetes nyelvi szövegek generálásában, teljesítménye nem volt hibátlan. A modellt általában kedvezően értékelték koherencia és relevancia szempontjából, azonban különösen hosszabb, több bekezdésen átívelő szövegek generálása esetén gyakran előfordult, hogy a szöveg fokozatosan elvesztette a fonalat, összefüggéstelenné, logikailag következetlenné vagy önismétlővé vált. A The Register technológiai portál megjegyezte, hogy „egy rövid szövegrészlet elolvasása után egy emberi olvasó általában észreveszi, hogy valami nincs rendben” a generált szöveggel. Emellett rámutattak arra is, hogy bár a GPT-2 képes volt kérdésekre válaszolni, teljesítménye ezen a téren nem érte el a kifejezetten információkinyerésre vagy kérdés-válaszadásra tervezett, célfeladatra specializált rendszerek pontosságát.