Generativ førehandstrent transformator (engelsk: Generative Pre-trained Transformer, forkorta GPT) er ein type stor språkmodell (LLM) og eit sentralt rammeverk for generativ kunstig intelligens. GPT er eit kunstig nevralt nettverk som blir nytta til naturleg språkprosessering i maskinar. Modellane er baserte på transformator-arkitekturen innan djup læring, er førehandstrente på store mengder umerkte tekstdata, og kan generere nytt, menneskeliknande innhald. Frå og med 2023 hadde dei fleste LLM-ar slike eigenskapar, og dei blir ofte samla omtala som «GPT-ar».

Den første GPT-modellen blei introdusert i 2018 av OpenAI. OpenAI har sidan lansert fleire grunnmodellar som er nummererte og utgjer «GPT-n»-serien. Kvar av desse har vore betydeleg meir kapabel enn den førre, som følgje av aukande storleik (målt i talet på trenbare parameterar) og meir omfattande trening. Den nyaste modellen, GPT-4o, blei lansert i mai 2024. Desse modellane er grunnlaget for meir spesialiserte GPT-system, til dømes modellar som er finjusterte for å følgje instruksjonar – slik som dei som ligg til grunn for samtaleroboten ChatGPT.

Omgrepet «GPT» blir òg nytta i namn og omtale av liknande modellar utvikla av andre aktørar enn OpenAI.

GPT-serien frå OpenAI

GPT-1 GPT-1 (Generative Pre-trained Transformer 1) var den første store språkmodellen frå OpenAI, og følgde etter introduksjonen av transformatorarkitekturen frå Google i 2017. I juni 2018 publiserte OpenAI ein artikkel med tittelen Improving Language Understanding by Generative Pre-Training, der dei presenterte modellen og konseptet bak generative førehandstrente transformatorar.

GPT-2 GPT-2 er den andre språkmodellen i GPT-serien frå OpenAI. Modellen blei førehandstrent på eit datasett med åtte millionar nettsider. Ein del av modellen blei offentleggjort i februar 2019, medan den fullstendige versjonen med 1,5 milliardar parameterar blei lansert 5. november same år.

GPT-3 GPT-3 blei lansert i 2020 og er ein stor språkmodell basert på same transformatorarkitektur som GPT-2, men med betydeleg fleire parameterar. Modellen er ein såkalla «dekodar-einings»-modell, som nyttar eit mekanisme kalla attention for å fokusere på relevante delar av innputten. GPT-3 har 175 milliardar parameterar med 16-bits presisjon, noko som krev om lag 350 GB lagring. Han har eit kontekstvindauge på 2048 token, og har vist sterke evner innan både zero-shot og few-shot læring.

GPT-4 GPT-4 er ein multimodal stor språkmodell og den fjerde i rekkja frå OpenAI. Han blei lansert 14. mars 2023, og blei tilgjengeleg gjennom den betalte chatbot-tenesta ChatGPT Plus, via OpenAI sitt API, og gratis gjennom Microsoft Copilot.

GPT-4 er førehandstrent på både offentleg tilgjengeleg data og data lisensiert frå tredjepartsleverandørar, og brukar dette til å predikere neste token i ein tekstsekvens. Deretter blir modellen finjustert gjennom forsterkingslæring med tilbakemelding frå både menneske og KI, for å betre tilpassa seg menneskeleg kommunikasjon og etterleving av retningslinjer.

Kjelder

Denne artikkelen bygger på innleiinga av «Generative pre-trained transformer» frå med utdrag frå underliggande artiklar, den 6. april 2025.

Bakgrunnsstoff

Kategori:Store språkmodellar Kategori:Kunstig intelligens Kategori:Maskinlæring