modelu językowego – testujący możliwości modeli językowych takich jak duże modele językowe. Testy te mają na celu porównanie możliwości różnych modeli w takich obszarach jak rozumienie języka, generowanie i wnioskowanie.
Testy porównawcze zazwyczaj składają się ze zbioru danych i metryk ewaluacyjnych. Zbiór danych zawiera próbki tekstu i adnotacje, natomiast metryki mierzą wydajność modelu w zakresie takich zadań jak odpowiadanie na pytania, klasyfikacja tekstu i tłumaczenie maszynowe.
Charakterystyka mały| Wydajność modeli AI w różnych testach na przestrzeni lat 1998–2024
Kategorie Benchmarki mogą zostać skategoryzowane względem różnych metryk do jednych z poniższych kategorii:
Klasyczny – skupiają się na analizie statystycznej i często powstawały przed spopularyzowaniem mechanizmów uczenia głębokiego. Do przykładów zalicza się bank drzew i BLEU Odpowiadania na pytania – ta kategoria testów posiada pary pytań i odpowiedzi, często wielokrotnego wyboru Rozumowania – sprawdzająca kwestie rozumowania i wiedzy Agencji – sprawdzająca możliwości działania agenta, który może wykonywać takie operacje jak uruchamianie kodu
Ocena Można wyróżnić trzy typy oceny wyników benchmarka:
Automatyczna ocena, np. F1, dokładne dopasowanie, perpleksja Ocena przez człowieka, pozwalająca na jakościową ewaluację odpowiedzi Model jako osoba oceniająca będący opcją alternatywną wobec oceny przez człowieka
Krytyka Jedna z najczęściej pojawiających krytyk odnośnie benchmarków jest dopasowanie modeli do danych testowych. Aplikowane jest również w tym kontekście prawo Goodharta. Oprócz tego zbiór pytań i odpowiedzi może posiadać błędy lub posiadać ambiwalentne odpowiedzi, gdzie ludzie nie byliby w stanie dać 100% odpowiedzi.
Podkreślany jest również fakt wyrywkowego podejścia do wybieranych benchmarków przez twórców modeli.
Przykłady SQuAD Benchmark SQuAD w wersji 1.1 składa się z 100 tys. pytań stworzonych na bazie ponad 500 artykułów z Wikipedii. Każde zadanie składa się z podania artykułu i pytania, a odpowiedzią jest konkretne zdanie z odpowiedzią. Wersja 2.0 zawiera 50 tys. pytań bez odpowiedzi, gdzie na każde pytanie należy odpowiedzieć spacją.
GPQA GPQA (ang. ) składa się 448 pytań na poziomie doktoratu wielokrotnego wyboru napisanych przez ekspertów w dziedzinie biologii, fizyki i chemii. Podzbiór „” zawiera 198 najtrudniejszych pytań. OpenAI ustaliło, że eksperci osiągają średni wynik 69,7% w tym podzbiorze.
Humanity's Last Exam Jako przykład benchmarku w kategorii rozumowania można wyróżnić . Posiada on 3000 multimodalnych pytań z ponad stu przedmiotów akademickich, z nieudostępnionym zbiorem odpowiedzi, aby zapobiec zanieczyszczeniu. 10% pytań wymaga zrozumienia zarówno tekstu, jak i obrazu, reszta opiera się wyłącznie na tekście. 80% pytań jest punktowanych poprzez dokładne dopasowanie ciągu znaków, reszta to pytania wielokrotnego wyboru.
Przypisy
Kategoria:Oprogramowanie testujące wydajność Kategoria:Porównania oprogramowania Kategoria:Przetwarzanie języka naturalnego