Poslední zkouška lidstva (anglicky Humanity’s Last Exam, zkr. HLE) je (mnoho)modální benchmark pro velké jazykové modely obsahující přes 2 500 odborných otázek z široké škály témat. Byl vytvořen společně organizacemi Center for AI Safety a Scale AI a byl navržen tak, aby testoval schopnosti uvažování a „lidské“ inteligence spíše než pouhé rozpoznávání vzorů.

Dějiny Benchmarky, jako je Humanity’s Last Exam, jsou dlouho používány k hodnocení schopností uvažování a učení se u strojů. Rané benchmarky, jako například Turingův test, měřily, zda stroje mohou prokázat schopnosti konverzace podobné lidským. Další rané benchmarky hodnotily počítačové vidění, například MNIST pro rozpoznávání ručně psaných číslic a ImageNet pro klasifikaci obrazů. Vznik velkých jazykových modelů (LLM) ve 20. letech 21. století vedl k vývoji benchmarků se zaměřením na interpretovatelnost, reprodukovatelnost a jasnější hodnoticí kritéria; příklady zahrnují MMLU, HellaSwag a ARC Challenge.

Vznik Test Humanity’s Last Exam byl vytvořen tak, aby odpovídal rychlému vývoji LLM a poskytl jejich přísnější hodnocení. Předchozí benchmarky hodnotily LLM s přibližně 90% správností, což vyžadovalo obtížnější zkoušku. Zpráva The AI Index 2025 Annual Report (Stanford HAI) uvádí Humanity’s Last Exam jako jeden z „náročnějších benchmarků“ vzniklých v reakci na „nasycení“ populárních testů. Test byl popsán jako nápad Dana Hendryckse, ředitele Center for AI Safety, kterého k vytvoření inspiroval rozhovor s Elonem Muskem. Otázky byly získány crowdsourcingem od odborníků z různých institucí po celém světě.

Složení testu Benchmark se skládá z 2 500 otázek ve veřejně dostupné sadě. Otázky jsou rozděleny do širokých oborů: matematika (41 %), fyzika (9 %), biologie/medicína (11 %), humanitní/společenské vědy (9 %), informatika/umělá inteligence (10 %), inženýrství (4 %), chemie (7 %) a ostatní (9 %). Přibližně 14 % otázek vyžaduje porozumění textu i obrázkům (multimodalitu) a 24 % otázek je s výběrem odpovědí; zbytek jsou otázky s krátkou odpovědí a přesnou shodou. Pro testování overfittingu benchmarku je udržována i soukromá sada.

Příklad otázky:

Kolibříci v rámci Apodiformes mají jedinečnou párovou oválnou kost, sezamskou kost v kaudolaterální části rozšířené, zkřížené aponeurózy úponu m. depressor caudae. Kolik párových šlach je upnuto na tuto sezamskou kost? Odpověz číslem.

Nezávislé šetření FutureHouse (publikováno 23. července 2025, aktualizováno 16. září 2025) naznačilo, že přibližně 30 % odpovědí HLE na textové otázky z chemie a biologie může být nesprávných; tým HLE tato zjištění částečně zopakoval a uvedl, že chce zavést průběžné revize.

Výsledky + Výkon různých modelů v benchmarku Organizace Model Přesnost (%) ↑ Chyba kalibrace (%) ↓ Google DeepMind gemini-3-pro-preview 37,52 57 OpenAI gpt-5-pro-2025-10-06 31,64 49 OpenAI gpt-5.2-2025-12-11 27,80 45 OpenAI gpt-5-2025-08-07 25,32 50 Anthropic claude-opus-4-5-20251101-thinking 25,20 55 Moonshot AI kimi-k2.5 24,37 67 OpenAI gpt-5.1-thinking 23,68 55 Google DeepMind gemini-2.5-pro-preview-06-05 21,64 72 OpenAI o3 (high) (duben 2025) 20,32 34 OpenAI gpt-5-mini-2025-08-07 19,44 65 OpenAI o3 (medium) (duben 2025) 19,20 39 Google DeepMind Gemini 2.5 Pro Experimental (březen 2025) 18,16 71 Zdroj: Scale AI (poslední aktualizace 17. prosince 2025; citováno 15. února 2026).

Chyba kalibrace (miscalibration) měří, do jaké míry jsou systémy umělé inteligence ve svých odpovědích pod- nebo nadhodnoceně sebejisté; administrátoři testů vyzývají modely, aby uvedly odpověď i svou jistotu od 0 % do 100 %.

+ Výkon různých modelů v benchmarku Organizace Model Přesnost (%) ↑ Chyba kalibrace (%) ↓ Google DeepMind gemini-3-pro-preview 37,52 57 OpenAI gpt-5-pro-2025-10-06 31,64 49 OpenAI gpt-5.2-2025-12-11 27,80 45 OpenAI gpt-5-2025-08-07 25,32 50 Anthropic claude-opus-4-5-20251101-thinking 25,20 55 Moonshot AI kimi-k2.5 24,37 67 OpenAI gpt-5.1-thinking 23,68 55 Google DeepMind gemini-2.5-pro-preview-06-05 21,64 72 OpenAI o3 (high) (duben 2025) 20,32 34 OpenAI gpt-5-mini-2025-08-07 19,44 65 OpenAI o3 (medium) (dubem 2025) 19,20 39 Google DeepMind Gemini 2.5 Pro Experimental (březen 2025) 18,16 71 Zdroj: Scale AI (poslední aktualizace 17. prosince 2025; citováno 15. února 2026).

Reference

Externí odkazy Humanity's Last Exam – stránka benchmarku na webu Center for AI Safety Humanity’s Last Exam – leaderboard Scale AI

Kategorie:Velké jazykové modely