У інформаційному пошуку Okapi BM25 (BM є абревіатурою від best matching) — це функція ранжування, що використовується пошуковими системами для оцінки релевантності документів до заданого пошукового запиту. Вона базується на ймовірнісній моделі релевантності, розробленій у 1970-х та 1980-х роках Стівеном Е. Робертсоном, Карен Спарк Джонс та іншими.
Назва самої функції ранжування — BM25. Повна назва, Okapi BM25, включає назву першої системи, що її використовувала, якою була система пошуку інформації Okapi, впроваджена в Лондонському City University у 1980-х та 1990-х роках. BM25 та її новіші варіанти, наприклад, BM25F (версія BM25, що враховує структуру документа та анкорний текст), представляють функції пошуку, подібні до TF-IDF, що використовуються в пошуку документів.
Функція ранжування
BM25 є функцією пошуку типу «мішок слів», що ранжує набір документів на основі термів запиту, що зустрічаються в кожному документі, незалежно від їхньої близькості один до одного в документі. Вона є сімейством функцій оцінки з трохи різними компонентами та параметрами. Одним з найпоширеніших варіантів функції є наступний:
Нехай запит містить ключові слова , тоді оцінка BM25 для документа дорівнює:
де — кількість входжень ключового слова у документ , — довжина документа в словах, а — середня довжина документа в колекції текстів, з якої взято документи. та — вільні параметри, зазвичай обираються, у відсутності складної оптимізації, як та . — це вага IDF (зворотної частоти документа) для терму запиту . Зазвичай вона обчислюється як:
де — загальна кількість документів у колекції, а — кількість документів, що містять .
Існує кілька інтерпретацій IDF та незначні варіації його формули. У вихідному виведенні BM25, компонент IDF отримується з Бінарної моделі незалежності.
Інформаційно-теоретична інтерпретація IDF Ось інтерпретація з теорії інформації. Припустимо, що терм запиту зустрічається в документах. Тоді випадково вибраний документ буде містити цей терм з ймовірністю (де знову — кардинальність множини документів у колекції). Таким чином, інформаційний вміст повідомлення « містить » становить:
Припустимо, що у нас є два терми запиту та . Якщо ці два терми зустрічаються в документах повністю незалежно один від одного, то ймовірність побачити обидва та у випадково вибраному документі становить:
а інформаційний вміст такого події становить:
З невеликою варіацією, це саме те, що виражається компонентом IDF моделі BM25.
Модифікації При крайніх значеннях коефіцієнта BM25 перетворюється на функції ранжування, відомі як BM11 (для ) та BM15 (для ). BM25FHugo Zaragoza, Nick Craswell, Michael Taylor, Suchi Saria, and Stephen Robertson. Microsoft Cambridge at TREC-13: Web and HARD tracks. In Proceedings of TREC-2004. (або BM25 модель з розширенням до кількох зважених полів) є модифікацією BM25, в якій документ вважається складеним з кількох полів (таких як заголовки, основний текст, текст посилань) з можливими різними ступенями важливості, насичення релевантності термінів та нормалізації довжини. BM25F визначає кожен тип поля як потік, застосовуючи зважування на потік для масштабування кожного потоку щодо розрахованого балу.
BM25+Yuanhua Lv and ChengXiang Zhai. Lower-bounding term frequency normalization. In Proceedings of CIKM'2011, pages 7-16. є розширенням BM25. BM25+ було розроблено для вирішення однієї недоліку стандартного BM25, в якому компонент нормалізації частоти термінів за довжиною документа не має належного нижнього обмеження; в результаті цього недоліку, довгі документи, які відповідають термінам запиту, часто можуть отримувати несправедливі бали від BM25, маючи схожу релевантність до коротких документів, які взагалі не містять термінів запиту. Формула оцінки BM25+ має лише один додатковий вільний параметр (значення за замовчуванням — у відсутності навчальних даних) порівняно з BM25:
Посилання
Загальні посилання
Посилання