Jezikovni model je računski model, ki napoveduje zaporedja v naravnem jeziku. Jezikovni modeli so uporabni za različne naloge, vključno s prepoznavanjem govora, strojnim prevajanjem, tvorbo naravnega jezika (ustvarjanjem besedila, ki je podobno človekovemu), optičnim prepoznavanjem znakov, prepoznavanjem rokopisa, indukcijo slovnice in iskanjem informacij.
Pionirsko delo na področju jezikovnih modelov je v 1950-ih opravil Noam Chomsky z razvojem teorije formalnih slovnic. V 1980-ih so se razvijali zlasti statistični pristopi, ki so se na številnih področjih izkazali za bolj uporabne kot formalne slovnice, ki temeljijo na pravilih. Pomemben napredek je predstavljal razvoj modelov, ki so besedila obravnavali na osnovi diskretnih predstavitev, kot npr. n-grami besed s pripadajočimi verjetnostmi za različne kombinacije besed.
V 2000-ih so zvezne predstavitve besed, kot npr. vektorske vložitve, začele nadomeščati diskretne predstavitve. Pri predstavitvah z vektorskimi vložitvami so posamezne besede predstavljene kot vektorji nad realnimi števili. Takšen vektor običajno kodira pomen besede tako, da so si besede, katerih vektorske predstavitve so si v vektorskem prostoru bližje, podobne ali pa si delijo določene slovnične značilnosti, npr. število ali spol.
Vektorske predstavitve so privedle do pomembnega napredka na področju jezikovnih tehnologij, saj so omogočile uporabo numeričnih optimizacijskih metod, posploševanje med podobnimi izrazi ter učinkovitejše učenje modelov iz velikih količin podatkov. Postale so temelj sodobnih jezikovnih modelov na osnovi umetnih nevronskih mrež. Sprva so se uveljavili modeli, ki temeljijo na rekurentnih nevronskih mrežah. Od leta 2019 najnaprednejšo obliko jezikovnih modelov predstavljajo veliki jezikovni modeli (LLM), ki pretežno temeljijo na arhitekturi transformerjev.
Pomembno vlogo pri razvoju jezikovnih modelov ima tudi priprava obsežnih besedilnih korpusov. Večina sodobnih modelov je zasnovana za učenje iz zelo velikih količin besedilnih podatkov, ki omogočajo zajem raznolikih jezikovnih vzorcev. Učni podatki so pogosto zbrani iz različnih virov, vključno z javno dostopnimi besedili na internetu, digitaliziranimi knjigami, novičarskimi arhivi in drugimi besedilnimi zbirkami.
Vrednotenje kakovosti jezikovnih modelov se večinoma izvaja s primerjavo z naborom vzorcev, ki jih je ustvaril človek. Drugi pristopi preučujejo notranje lastnosti modela ali primerjajo dva modela med seboj. Ker so jezikovni modeli običajno zasnovani tako, da se učijo iz podatkov, ki jih vidijo, nekateri predlagani postopki vrednotenja vključujejo tudi analizo hitrosti učenja, na primer s pregledom krivulj učenja.
Glej tudi Jezikovne tehnologije Veliki jezikovni model Strojno učenje Umetna inteligenca
Sklici
Viri
Kategorija:Računalniško jezikoslovje