Az alapmodell, amely nagy X-modell (LxM) néven is ismert, egy gépi tanulási vagy mély tanulási modell, amely hatalmas adatkészleteken lett kiképezve, így a felhasználási esetek széles körében alkalmazható. Az alapmodellek leggyakoribb példái a generatív mesterséges intelligencia alkalmazások, mint például a Nagy Nyelvi Modellek (Large Language Models).Competition and Markets Authority (2023). AI Foundation Models: Initial Report. Available at: https://assets.publishing.service.gov.uk/media/65081d3aa41cc300145612c0/Full_report_.pdf
Az alapmodellek építése gyakran rendkívüli mértékben erőforrás-igényes, a legfejlettebb modellek több száz millió dollárba kerülnek, hogy fedezzék a hatalmas adathalmazok beszerzésének, gondozásának és feldolgozásának költségeit, valamint a képzéshez szükséges számítástechnikai teljesítményt. Ezek a költségek a kifinomult infrastruktúra, a meghosszabbított képzési idők és a fejlett hardverek, például a GPU-k iránti igényből származnak. Ezzel szemben egy meglévő alapmodellnek egy adott feladatra adaptálása, vagy közvetlen használata sokkal kevésbé költséges, mivel ez kihasználja az előre betanított képességeket, és jellemzően csak a kisebb, feladatspecifikus adatkészletek finomhangolását igényli.
Az alapmodellek korai példái a nyelvi modellek (LMs), mint például az OpenAI GPT-sorozata és a Google BERT-je. Az alapmodelleket, a szövegek mellett számos modalitáson keresztül is fejlesztették — így például a DALL-E-t és a Flamingót a képekhez, a MusicGent a zenéhez, az RT-2-t pedig a robotvezérléshez. Az alapmodelleket olyan területekre is fejlesztik, mint a csillagászat, a radiológia, a genomika, a zene, a kódolás, az idősoros előrejelzés, a matematika és a kémia.
Definíciók A Stanfordnak az Emberközpontú Mesterséges Intelligenciáért Intézete (Stanford Institute for Human-Centered Artificial Intelligence - HAI) Alapítványi Modellek Kutatóközpontja (Center for Research on Foundation Models - CRFM) 2021 augusztusában alkotta meg az „alapmodell” kifejezést. Ez „bármelyik széles körű adatokon (általában nagymértékű önfelügyeletet alkalmazva) kiképzett modellre vonatkoztatható, amely feladatok széles köréhez adaptálható (pl. finom hangolással). Az "alapmodell" kifejezés megalkotása azon a megfigyelésükön alapult, hogy a már létező kifejezések, bár átfedték egymást, nem voltak megfelelőek, így azt állították, hogy " a (nagy) nyelvi modell " kifejezés túl szűk, mivel a hangsúly nem csak a nyelven van; az "önfelügyelt modell" túlságosan specifikus a képzési célhoz; az "előképzett modell" pedig azt sugallja, hogy a figyelemre méltó műveletek mind az "előképzés után" történnek. Az "alapmodell" kifejezést választották az "alapozó modell" helyett, mert az "alapozás" azt implikálná, hogy ezek a modellek az "alapmodellektől" eltérő módon nyújtanak alapelveket.
Az alapmodellek kormányzati szabályozása során jogi definíciók születtek.
Az Egyesült Államokban A mesterséges intelligencia veszélytelen, biztonságos és tisztességes fejlesztéséről és használatáról szóló végrehajtási rendelet (Executive Order on the Safe, Secure, and Trustworthy Development and Use of Artificial Intelligence) úgy definiálja az alapmodellt, mint "olyan mesterséges intelligencia modellt, amely széles körű adatokon lett kiképezve; általában önfelügyeletet használ; legalább tízmilliárd paramétert tartalmaz; és sokféle környezetben alkalmazható". Az Egyesült Államokban a Don Beyer (D, VA) és Anna Eshoo (D, CA) parlamenti képviselők által javasolt 2023-as Mesterséges intelligencia alapmodell átláthatósági törvény (AI Foundation Model Transparency Act) a következőképpen definiálja az alapmodellt: "ez olyan mesterséges intelligencia-modell, amely széles körű adatokon van kiképezve, általában önfelügyeletet használ, legalább 1 000 000 000 paramétert tartalmaz, sokféle környezetben és kontextusban alkalmazható, vagy könnyen módosítható egy adott kontextushoz, hogy magas szintű teljesítményt mutasson olyan feladatokban, amelyek komoly kockázatot jelenthetnek a biztonságra, a nemzetgazdasági biztonságra, a nemzeti közegészségügyre, vagy a közbiztonságra, vagy ezek bármely kombinációjára." Az Európai Unióban, az Európai Parlamentnek az EU mesterséges intelligencia törvényével (E.U. AI Act) kapcsolatos egyeztetett álláspontja úgy definiálja az alapmodellt, mint "olyan mesterséges intelligencia modellt, amely széles körű adatokon lett kiképezve, a kimenetek általánosságára tervezték és jellgzetes egyedi feladatok széles körére adaptálható". Az Egyesült Királyságban a Verseny- és Piachatóság AI alapmodellekről készült első jelentése (Competition and Markets Authority AI Foundation Models: Initial Report) úgy definiálja az alapmodellt, mint "az AI-technológia egy olyan típusát, amely hatalmas mennyiségű adatra van kiképezve, és amely sokféle feladathoz és művelethez adaptálható".
Csak az Egyesült Államok definíciói hivatkoznak az alapmodellek méretére és a köztük levő nagyságrendbeli különbségekre. Beyer és Eshoo definíciója azt is kiemeli, hogy az alapmodelleknek el kell érniük bizonyos teljesítményszintet, amely potenciális veszélyt jelent. Ezzel szemben, az EU definíciója szerint, a modellnek általános outputra tervezettnek kell lennie. Valamennyi definíció egyetért abban, hogy az alapmodelleket az adatok széles skáláján kell kiképezni, hogy számos területen alkalmazhatók legyenek.
Történet Az alapmodellek technológiailag olyan bevált gépi tanulási technikák felhasználásával épülnek fel, mint a mély neurális hálózatok (deep neural networks), a transzfer tanulás (transfer learning) és az önfelügyelt tanulás (self-supervised learning). Az alapmodellek eltérnek a korábbi technikáktól, mivel általános célú modellek, amelyek újrafelhasználható infrastruktúraként működnek, nem pedig egyedi és egyszeri feladat-specifikus modellek.
A számítógépes parallelizmus (pl. a CUDA GPU-k) és a neurális hálózati architektúra új fejlesztései (pl. a transzformerek), valamint a betanítási adatok minimális felügyelet melletti fokozott felhasználása, mind hozzájárultak az alapmodellek térnyeréséhez. Az alapmodellek, a 2010-es évek végén, a mélytanulási modellek legújabb hullámaként kezdtek megvalósulni. A mély tanulással kapcsolatos legtöbb korábbi munkához képest, ezek a nyelvi modellek demonstrálták a sokkal nagyobb, web-alapú adatkészleteken, önfelügyelt (self-supervised) célokkal (pl. a következő szó előrejelzése egy nagy szövegkorpuszban) való képzésben rejlő lehetőségeket. Ezek a korábbi munkákra, például a word2vec-re és a GloVe-re épülő megközelítések, eltértek a korábbi, felügyelt (supervised) megközelítésektől, amelyek annotált adatokat (pl. tömeges forrásból származó címkéket) igényeltek.
A Stable Diffusion és a ChatGPT 2022-es kiadása (amelyet eredetileg a GPT-3.5 modell hajtott) vezettek ahhoz, hogy az alapmodellek és a generatív mesterséges intelligencia széles körben elterjedt a közbeszédben. A LLaMA, a Llama 2 és a Mistral 2023-as kiadása pedig hozzájárult ahhoz, hogy nagyobb hangsúly helyeződjön arra, hogy hogyan adják ki az alapmodelleket sok támogatást és ellenőrzést igénylő, nyílt alapmodellekként.
Kapcsolódó fogalmak
Határmodellek Bizonyos, rendkívül fejlett alapmodellekre a „határmodellek" kifejezést használják, amely arra utal, hogy ezek potenciálisan „veszélyes képességekkel rendelkeznek ahhoz, hogy komoly közbiztonsági kockázatot jelentsenek". Ezek a „veszélyes képességek" az ilyen modellek véletlen vagy szándékos rossz célokra való használatából fakadnak. Ez utóbbi, a modellek hatalmas erejével társulva, súlyos károkhoz vezethet. Néhány AI-kutató feltételezése szerint az alapmodellek folyamatos fejlődésével, szinte minden következő generációs alapmodell határmodellnek minősül majd.
Mivel a veszélyes képességek fogalma eredendően szubjektív, nincs szigorú meghatározás arra vonatkozóan, hogy mely alapmodellek minősülnek határmodellnek. Létezik azonban néhány általánosan elfogadott elképzelés a kellően veszélyes képességekről:
Új biológiai, vagy vegyi fegyverek tervezése és egységesítése. Meggyőző, személyre szabott dezinformáció előállítása és terjesztése, minimális felhasználói utasítással Soha nem látott támadó kiberképességek kihasználása Az emberi irányítás kikerülése megtévesztő eszközökkel
A határmodellek egyedi képességei miatt nehéz hatékonyan szabályozni fejlesztésüket és bevezetésüket. Felbukkanó természetük miatt, az új veszélyes képességek önmagukban is megjelenhetnek a határmodellekben, mind a fejlesztési szakaszban, mind a telepítésük után. Ráadásul, mivel a határmodellek a telepítésük után is folytatják az adaptálódást, továbbra is nehéz a már telepített modellekből származó összes kárt enyhíteni. Ha, történetesen, egy határmodell nyílt forráskódú, vagy online kiadásra kerül, a modell gyorsan elterjedhet, ami az elszámoltathatóság hiánya miatt, tovább akadályozza a szabályozást.
Általános célú MI A felhasználási esetek széles skálájához való alkalmazkodó képességük miatt, az alapmodelleket időnként az általános célú mesterséges intelligencia példáinak tekintik. Az EU MI-törvényének megalkotásakor az Európai Parlament megállapította, hogy az általános célú mesterséges intelligencia-technológiák új hulláma alakítja a teljes mesterséges intelligencia-ökoszisztémát. Az ökoszisztéma teljesebb szerkezete, a konkrét általános célú MI-rendszerek tulajdonságain túl, az MI-politika és -kutatás tervezését is befolyásolja. Az általános célú mesterséges intelligencia rendszerek gyakran megjelennek az emberek mindennapi életében olyan alkalmazásokon és eszközökön keresztül is, mint a ChatGPT vagy a DALL-E.
Az olyan kormányzati szervek, mint az EU Parlament, kiemelt prioritásúként határozták meg az általános célú mesterséges intelligencia, így például az alapmodellek szabályozását. Az általános célú mesterséges intelligencia rendszereket gyakran nagy méret, átláthatatlanság és felbukkanó képességek jellemzik, amelyek mindegyike okozhat nem szándékolt károkat. Az ilyen rendszerek a későbbi alkalmazásokra is nagy hatással vannak, ami tovább fokozza a szabályozás szükségességét. A kiemelkedő jogszabályok tekintetében, számos érdekelt fél szorgalmazta, hogy az EU MI-törvénye tartalmazzon korlátozásokat az általános célú MI-rendszerekre nézve, amelyek mindegyike az alapmodellekre is vonatkozna.
Technikai részletek
Modellezés Ahhoz, hogy egy alapmodell hatékonyan általánosítható legyen, gazdag reprezentációkat kell szereznie a képzési adatokról. Ennek egyik eredményeként, az alapmodellek építése során, gyakran előnyben részesítik a nagy léptékű adatokat hatékonyan feldolgozó, expresszív modell architektúrákat. Jelenleg, számos változatában, a Transzformer architektúra a de facto választás az alapmodellek építéséhez.
Képzés Az alapmodellek a képzési célkitűzés(ek) optimalizálásával épülnek fel: egy matematikai függvény határozza meg, hogy a modell paraméterei hogyan frissüljenek a modellnek a betanítási adatokon alapuló előrejelzései alapján. A nyelvi modelleket gyakran képezik ki a következő tokenek előrejelzésére, amely azt jelenti, hogy a modell, bizonyos mértékben, képes megjósolni egy sorozatban a következő tokent. A képmodelleket általában kontrasztív tanulási vagy diffúziós képzési célokkal képezik. A kontrasztív tanuláshoz a képeket véletlenszerűen kibővítik, mielőtt a modell reprezentációkból eredő hasonlóság alapján értékelnék őket. A diffúziós modelleknél a képek zajosak, a modell pedig megtanulja fokozatosan megszüntetni a zajt a célnak megfelelően. Léteznek multimodális képzési célok is, amikor egyes modellek képzése során a képeket és a szövegeket elkülönítik, míg mások egyidejűleg vizsgálják ezeket. Általánosságban elmondható, hogy az alapmodellek képzési céljai elősegítik az adatok széles körben hasznos reprezentációinak megtanulását.