F-міра

В статистичнім аналізі бінарної класифікації, F-міра () — це одна з мір точності тесту. Її обчислюють через влучність та повноту тесту, де влучність є числом правильно визначених позитивних результатів, поділеним на число всіх позитивних результатів, включно з визначеними неправильно, а повнота є числом правильно визначених позитивних результатів, поділеним на число всіх зразків, які повинно було бути визначено як позитивні.

Міра F1 є середнім гармонійним цих влучності та повноти. Загальніша міра Fβ застосовує додаткові ваги, оцінюючи або влучність, або повноту вище за іншу.

Найвищим можливим значенням F-міри є 1, що вказує на ідеальні влучність та повноту, а найнижчим можливим значенням є 0, якщо або влучність, або повнота є нульовими. Міра F1 є також відомою як індекс Соренсена, та коефіцієнт подібності Дайса ().

Етимологія

Вважають, що назву F-міри вона отримала на честь іншої F-функції з книги ван Рійсберґена, коли її було представлено та четвертій (, 1992) .

Визначення

Традиційна F-міра, або збалансована F-оцінка (міра F1) є середнім гармонійним влучності та повноти:

F1 = = 2 · = .

Fβ

Загальнішою F-мірою, Fβ, що використовує додатний дійснозначний коефіцієнт β, де β обирають так, що повноту вважають у β разів важливішою за влучність, є

Fβ = (1 + β) ·

В термінах помилок першого і другого роду це стає:

Fβ =

Двома широко вживаними значеннями β є 2, яке надає повноті більшої ваги, ніж влучності, та 0,5, яке надає повноті меншої ваги, ніж влучності.

F-міру було виведено таким чином, що Fβ «вимірює ефективність пошуку з урахуванням користувача, який надає в β разів вищої важливості повноті, ніж влучності» . Вона ґрунтується на мірі ефективності

E = 1 − ( + )−1

Вони є взаємопов'язаними як Fβ = 1 − E, де α = .

Діагностичне дослідження

Воно пов'язане з галуззю бінарної класифікації, де повноту часто називають «чутливістю».

Застосування

F-міру часто використовують в галузі інформаційного пошуку для вимірювання продуктивності пошуку, класифікації документів, та . Ранні праці зосереджувалися переважно на мірі F1, але з поширенням великомасштабних пошукових рушіїв цілі продуктивності змінилися на акцентування більшої уваги або на влучності, або на повноті , тож Fβ помітно у широкому вжитку.

F-міру також використовують у машиннім навчанніДив., наприклад, оцінку . . Проте, F-міри не беруть до уваги істинно негативних, тож для оцінювання продуктивності бінарного класифікатора можуть віддавати перевагу чи .

F-міра знайшла широкий вжиток в літературі з обробки природних мов , наприклад, при оцінюванні розпізнавання іменованих сутностей та .

Критика

та інші критикують широке використання міри F1, оскільки вона надає однакової важливості влучності та повноті. На практиці, різні типи помилкової класифікації призводять до різних втрат. Іншими словами, відносна важливість влучності та повноти є одним із аспектів задачі .

Згідно Давіде Чікко та Джузеппе Журмана, міра F1 є менш правдивою та інформативною для класифікації бінарного оцінювання, ніж (ККМ, ) .

Девід Пауерс вказав, що F1 ігнорує істинно негативні, й відтак є оманливою для незбалансованих класів, тоді як міри каппа та кореляції є симетричними, й оцінюють обидва напрямки передбачуваності — класифікатор, що передбачує істинний клас, та істинний клас, що передбачує передбачення класифікатора, пропонуючи окремі багатокласові міри та для цих двох напрямків, зазначаючи, що їхнє середнє геометричне є кореляцією .

Відмінність від індексу Фаулкса — Меттьюза

В той час як F-міра є середнім гармонійним повноти та влучності, є їхнім середнім геометричним .

Розширення до багатокласової класифікації

F-міру також використовують для оцінювання задач із понад двома класами (). В цій постановці остаточну міру отримують мікроусереднюванням (з упередженням за частотою класів) або макроусереднюванням (беручи всі класи однаково важливими). Для макроусереднювання застосовувачі використовувати дві різні формули: F-міру (арифметичних) середніх влучності та повноти по всіх класах, та арифметичне середнє F-мір по всіх класах, серед яких крайня виявляє бажаніші властивості .

Див. також Матриця невідповідностей METEOR BLEU

Робоча характеристика приймача

, відомий також як вправність ()

Примітки

de:Beurteilung eines Klassifikators#Kombinierte Maße