Evaluace jazykovým modelem

Evaluace jazykovým modelem (v anglicky psané literatuře LLM-as-a-Judge, LLM-based evaluation, LLM judges nebo LLMs-as-judges) je skupina technik zpracování přirozeného jazyka, které používají velké jazykové modely (LLM) jako automatizované hodnotitele textů nebo jiných výstupů dalších modelů. Jazykový model zde nahrazuje nebo doplňuje lidské anotátory a přiřazuje hodnotící skóre, kategorizuje případy nebo je slovně hodnotí podle specifických kritérií, jako je užitečnost, faktická správnost, bezpečnost nebo styl.

Hodnocení založené na LLM se používá k posouzení konverzačních asistentů a generativních modelů, vytváření automatických žebříčků a benchmarků, výběru modelů pro nasazení a tvorbě datových sad s hodnoceními, které lze použít pro trénování dalších modelů. Stejná myšlenka se používá i na multimodální prostředí, kde vizuální jazykové modely (VLM) fungují jako porotci při hodnocení obrázků nebo videí (což se někdy nazývá VLM-as-a-Judge) produkovaných jinými systémy umělé inteligence.

Empirické studie ukazují, že silné modely mohou u mnoha úkolů těsně korelovat s lidskými úsudky a někdy dosáhnout úrovně shody podobné shodě mezi lidskými anotátory. Další studie ovšem dokumentují systematické zkreslení a možnosti selhání, kdy úsudek jazykových modelů ovlivňuje pozice hodnoceného prvku a jeho délka, dále to, že model obvykle hodnotí lépe výstupy pocházející z vlastní modelové rodiny, a zranitelnosti vůči prompt hackingu. Tyto obavy motivovaly výzkum metaevaluace hodnotitelů, tvorbu pokynů pro zodpovědné používání modelů v této roli i vznik metod, jako jsou „poroty jazykových modelů“, které kombinují více hodnotitelů.

Pozadí Automatická evaluace generativních jazykových modelů se dříve opírala o metriky podobnosti založené na porovnávání textových řetězců jako BLEU, ROUGE a METEOR, jež porovnávají výstup modelu s referenčním textem, Tyto metody jsou rychlé a transparentní, ale často špatně korelují s lidským hodnocením, jakmile výstup umožňuje větší variabilitu nebo je potřeba hodnotit jeho méně uchopitelné aspekty jako styl textu, jeho přesnost nebo bezpečnost.

S nástupem univerzálních jazykových modelů začali vědci zkoumat jejich přímé využití jako hodnotitelů. Mezi první příklady patří GPT-judge, model GPT-3 jemně vyladěný pro klasifikaci odpovědí TruthfulQA jako pravdivých nebo nepravdivých, a G-Eval, který volá GPT-4 s přesnými instrukcemi a myšlenkovým řetězcem pro hodnocení shrnutí a dialogových odpovědí. Průzkumy hodnocení založeného na LLM popisují široké skupiny metod, včetně metrik odvozených z pravděpodobností nebo embeddingů jazykových modelů, posudků, které se řídí instrukcemi v přirozeném jazyce, jemně vyladěných modelů pro hodnocení a protokolů pro spolupráci člověka a modelů.

Dějiny V roce 2021 Lin a spolupracovníci představili TruthfulQA, benchmark faktické pravdivosti, který zahrnoval i model GPT-judge jako automatizovanou metriku trénovanou na lidských hodnoceních pravdivosti. Uvedli, že GPT-judge odhaduje lidské označení pravdivosti s přesností zřetelně nad 90 procent a lze ho využít jako škálovatelnou náhradu lidského hodnocení pro účely tohoto benchmarku.

Další práce zkoumala použití LLM pro detekci halucinací ve vlastních výstupech. SelfCheckGPT například generuje více odpovědí na daný podnět a měří nesrovnalosti mezi nimi, přičemž věty, které se napříč vzorky neshodují, označuje jako pravděpodobné halucinace.

V roce 2023 Liu a jeho kolegové navrhli G-Eval, který instruuje GPT-4 k odpovídání na hodnotící dotazníky, z nichž pak odvozuje číselná skóre. To proti dřívějším automatickým metrikám dosahuje lepší shodu s lidským hodnocením shrnutí a dialogů.

Fráze „LLM-as-a-Judge“ se stala běžnou poté, co Zheng a kol. systematicky vyhodnotili GPT-4 a související modely jako porotce na MT-Bench, sadě na sebe navazujících otázek, a na crowdsourcingu Chatbot Arena. Uvedli, že silné LLM dokázaly odhadovat lidské preference ve více než osmdesáti procentech párových srovnání, čímž se blížily úrovni shody mezi samotnými lidskými anotátory.

Hodnocení modelů vykonávajících instrukce jako AlpacaEval a Arena-Hard-Auto později přijaly jazykové modely jako svůj primární bodovací mechanismus, obvykle přitom využívaly model GPT-4. K polovině 20. let 21. století se hodnocení založené na LLM stalo standardní možností v akademické práci i v aplikacích a vznikla řada průzkumů a pokynů, které systematizují metody, aplikace a omezení evaluace pomocí LLM.

Metodologie Typický evaluátor sestává ze tří prvků: 1. kontext úkolu a prvky, které mají být vyhodnoceny, 2. vysvětlení hodnotících kritérií, a 3. definice formátu odpovědi hodnotitele. Hodnotitelem může být buď univerzální model, ke kterému se přistupuje pomocí promptu, nebo model jemně vyladěný na základě hodnocených dat, jako GPT-judge a později specializované varianty Mistral-judge nebo Llama-judge.

Mezi běžné způsoby hodnocení patří:

binární rozhodnutí o úspěšném či neúspěšném případu (například „přítomnost halucinací“ versus „žádné halucinace“); likertovské škály hodnotí na číselné stupnici v jednom nebo více rozměrech, jako je relevance, koherence, plynulost nebo bezpečnost; párové porovnání dvou případů; pořadí více případů.

Evaluátory mohou být také požádány, aby spolu se skóre vypsali i hodnocení v přirozeném jazyce, typ chyby nebo vysvětlení, které pak lze zpracovat do strukturovaných metrik.

U úkolů s referenčními odpověďmi, jako je překlad nebo odpovídání na otázky, může být evaluátor pověřen, aby porovnal hodnocený výstup s referenční odpovědí, někdy s náhodným a modelu neznámým řazením referenčních a hodnocených vstupů, aby se snížilo poziční zkreslení. U otevřených otázek bez referenční odpovědi, jako je tvůrčí psaní nebo konverzace, se místo toho v zadáních popisují žádoucí vlastnosti hodnocených případů, jako je užitečnost, neškodnost a koherentnost.

Kvalita evaluátoru se obvykle posuzuje podle jeho shody s lidskými anotátory nebo podle jeho schopnosti reprodukovat existující žebříčky. Lze je tak hodnotit na základě korelace s lidskými skóre, přesnosti predikce, kalibračních křivek a testů robustnosti, jako je například obměna promptů nebo testování adversariálními vstupy, jež se snaží evaluátor zmást.

Aplikace

Generování přirozeného jazyka LLM jako evaluátory se široce využívají k hodnocení strojové sumarizace, strojového překladu, dialogů, generování příběhů a dalších úkolů pro jazykové modely.

Benchmarky a žebříčky Několik významných benchmarků hodnotících všeobecné jazykové modely se spoléhá primárně na automatické evaluátory. Chatbot Arena počítá crowdsourcované párové preference u výstupů modelů; MT-Bench a Arena-Hard-Auto destilují tato data do benchmarků hodnocených porotci založenými na GPT-4. AlpacaEval a jeho nástupce Length-Controlled AlpacaEval používají GPT-4 k porovnání modelů vykonávajících instrukce. V mnoha případech se žebříčky vytvořené evaluátory těsně shodují s lidským hodnocením, zejména pokud jsou evaluátory nejnovější silné modely.

Pravdivost a detekce halucinací LLM se používají k posouzení faktické správnosti a odhalování halucinací. V TruthfulQA je GPT-judge trénován na lidských hodnoceních pravdivosti. SelfCheckGPT používá LLM ke generování více vzorků pro stejnou výzvu a poté je interně porovnává, přičemž označuje tvrzení, která se mezi vzorky liší, jako pravděpodobné halucinace. Navazující práce aplikovaly podobné techniky pro detekci halucinací v oblastech, jako je odpovídání na otázky, sumarizace a generování počítačových programů.

Bezpečnost a dodržování rámcových instrukcí Související směr práce využívá evaluátory nejen k hodnocení, ale také jako zdroj zpětné vazby během učení modelů. Umělá inteligence trénuje asistenty, aby dodržovali písemně stanovený soubor principů, a používá samostatný model k výběru mezi jejich reakcemi podle těchto principů; tím dochází k přizpůsobení modelu odměn, který řídí zpětnovazební učení založené na zpětné vazbě od umělé inteligence (RLAIF). Navazující studie porovnávaly RLAIF se standardním učením z lidské zpětné vazby a zkoumaly, kdy zpětná vazba umělé inteligence pomáhá nebo škodí dodržování rámcových principů. Jiné aplikace integrují evaluátory zpětné vazby do úkolů, jako jsou doporučovací systémy či vyhodnocení radiologických vyšetření.

Vzdělávání, programování a další oblasti Evaluační LLM zaměřené na specifické oblasti byly aplikovány na produkci zpětné vazby v oblasti vzdělávání, kontroly počítačových programů a vysvětlování doporučení. Například metriky založené na LLM byly použity k posouzení kvality vysvětlení generovaných doporučovacími systémy a k hodnocení studentských písemných odpovědí nebo programových řešení z hlediska správnosti a srozumitelnosti. Studie v oblasti softwarového inženýrství a vyhledávání informací uvádějí, že LLM mohou u některých úkolů dosáhnout míry shody blízké lidským hodnotitelům, ačkoli výkon se liší v závislosti na oblasti a nastavení hodnocení.

Multimodální modely V multimodální oblasti mohou VLM fungovat jako posuzovatelé obrázků a videí. Hendriksen a kol. adaptovali obecný VLM do UNIVERSE, jednotného hodnotitele pro implementaci z modelů video světa, a ukázali, že se dokáže vyrovnat lidskému úsudku o akcích a úlohách rozpoznávání postav v různých simulovaných prostředích. Jiná práce používá GPT-4V nebo podobné multimodální modely k hodnocení nebo bodování výstupů modelů pro autonomní řízení a dalších rozsáhlých multimodálních modelů a uvádí silnou shodu s lidským hodnocením v komplexních vizuálních scénářích.

Výhody Evaluace modelem nabízí oproti tradičnímu hodnocení lidmi několik praktických výhod. Silní LLM posuzovatelé dokáží aproximovat lidské preference s relativně nízkými mezními náklady a bez nutnosti najímat anotátory pro každý nový úkol. Na rozdíl od povrchnějších metrik mohou posuzovatelé zohledňovat instrukce, referenční texty a doménová omezení a lze je rychle přeorientovat na nová kritéria úpravou promptů, například při kontrole bezpečnosti výstupů, stylistických kvalit nebo požadavků specifických pro danou doménu.

Modely mohou také generovat zdůvodnění v přirozeném jazyce, popis chyb nebo zvýrazňovat části posuzovaného vstupu, které výrazněji přispívají ke konečnému skóre. Takto strukturované výstupy mohou vývojářům pomoci ladit systémy a navrhovat cílené testy.

Protože posuzovatelé jsou sami o sobě neuronovými modely, lze je nasadit v automatizovaných procesech (pipelinách) pro průběžné vyhodnocování velkých datových sad, což je činí atraktivními pro regresní testování LLM aplikací a pro sledování změn výkonu v čase.

Omezení a chybovost Přes praktické výhody mají LLM coby posuzovatelé důležitá omezení. Shoda s lidmi se může snížit ve specializovaných oblastech, kde evaluátorovi chybí odborné znalosti, jako je medicína, právo nebo jazyky málo reprezentované ve zdrojích. V některých případech bylo pozorováno, že LLM přehlížejí jemné, ale kritické chyby, zatímco příliš zdůrazňují povrchní plynulost, což vede k příliš optimistickým skóre.

Několik studií dokumentuje systematické zkreslení. Zheng a kol. ukazují, že evaluátory založené na GPT-4 jsou ovlivněny pozicí, když upřednostňují odpověď, která se objeví v konkrétním slotu, dále zkreslení tím, že preferují delší odpovědi, a také zkreslení vůči typu modelu, když evaluátor lépe hodnotí výstupy produkované jeho vlastní modelovou rodinou. Liu a kol. zavedli termín „narcističtí hodnotitelé“, aby popsali, jak mohou soudci nafukovat skóre pro odpovědi z modelů, které jsou jim architektonicky podobné, zejména když soudce a kandidát sdílejí trénovací data nebo postupy ladění. Chen a kol. zjistili, že jak lidští posuzovatelé, tak LLM vykazují systematické zkreslení úsudku a že LLM mohou být manipulovány speciálně připravenými vstupy.