Розпізнавання іменованих сутностей (РІС) (також відоме як ідентифікація об'єктної сутності, фрагментація об'єктної сутності та видобуток об'єктної сутності) — це підзадача видобування інформації, яка намагається знайти і класифікувати іменовані сутності в неструктурованому тексті в заздалегідь визначені категорії, такі як імена людей, організації, місця, , час, кількості, грошові значення, відсотки тощо.

Більшість досліджень у системах РІС було структуровано як отримання не коментованого блоку тексту, такого як: І створення коментованого блоку тексту, який виділяє імена об'єктів:

У цьому прикладі було виявлено та класифіковано ім'я особи, що складається з одного токену, назва компанії з двох токенів та часового виразу.

Сучасні системи РІС для англійської мови показують продуктивність близьку до людської. Наприклад, найкраща система, що коментувала , набрала 93,39 % оцінки F1, а анотатори — 97,60 % і 96,95 %.Elaine Marsh, Dennis Perzanowski, «MUC-7 Evaluation of IE Technology: Overview of Results», 29 April 1998 PDF

Платформи розпізнавання іменованих сутностей До визначних платформ РІС належать:

підтримує РІС для багатьох мов і доменів, які використовуються через графічний інтерфейс і Java API. OpenNLP містить в собі засноване на правилах і статистичне розпізнавання іменованих об'єктів. SpaCy має швидке статистичне РІС, а також візуалізатор іменованих сутностей з відкритим вихідним кодом.

Визначення проблеми У виразі іменована сутність, слово «іменована» обмежує завдання для тих сутностей, для яких можна поставити у відповідність один або кілька рядків, таких як слова або фрази, послідовно для деяких референтів. Це тісно пов'язане з , визначеними Кріпке, хоча на практиці РІС має справу з багатьма іменами та референтами, які не є філософськи «жорсткими». Наприклад, автомобільна компанія, створена Генрі Фордом в 1903 році, може називатися Ford або Ford Motor Company, хоча «Ford» також може посилатися на багато інших суб'єктів (див. Ford). Жорсткі позначення включають власні імена, а також назви певних біологічних видів і речовин, за виключенням займенників (наприклад, «він», див. вирішення кореферентності), описів референтів за їх властивостями (див. також ), а також назв видів речей, на відміну від об'єктів (наприклад, «Банк»).

Повне розпізнавання іменованої сутності часто розбивається, концептуально і, можливо, також в реалізації, як дві різні задачі: виявлення імен та класифікація їх по типу сутностей (наприклад, особи, організації, місця та інші). Перша фаза, як правило, зводиться до проблеми сегментації: імена визначаються як суміжні проміжки токенів, без вкладеності, таким чином «Банк Америки» є єдиним ім'ям, попри те, що всередині цього імені підрядок «Америки» є іншим ім'ям. Задача сегментування є формально подібною до поверхнево-синтаксичного аналізу. Другий етап вимагає вибору онтології, за допомогою якої можна організувати категорії речей.

та деякі числові вирази (наприклад, гроші, відсотки тощо) також можуть розглядатися як іменовані сутності в контексті завдання РІС. Хоча деякі приклади таких типів є гарними прикладами жорстких позначень (наприклад, 2001 рік), є також багато недійсних (наприклад, я беру відпустки в «червні»). У першому випадку 2001 рік відноситься до 2001-го року григоріанського календаря. У другому випадку місяць червень може стосуватися місяця невизначеного року (минулий червень, наступний червень, кожен червень тощо). Можна стверджувати, що визначення іменованої сутності в таких випадках втрачається з практичних причин. Таким чином, термін іменована сутність не є строгим і часто має пояснюватися в контексті, в якому він використовується.Named Entity Definition . Webknox.com. Retrieved on 2013-07-21.

У літературі були запропоновані певні ієрархії типів іменованих сутностей. Категорії , запропоновані в 2002 році, використовуються для питально-відповідної системи і складаються з 29 типів і 64 підтипів. Розширена ієрархія Секіна, запропонована в 2002 році, складається з 200 підтипів.Sekine's Extended Named Entity Hierarchy . Nlp.cs.nyu.edu. Retrieved on 2013-07-21. Зовсім недавно, в 2011 році Ріттер використовував ієрархію на основі загальних типів об'єктів Freebase в новаторських експериментах РІС через соціальні медіа.

Формальна оцінка Для оцінки якості результату системи РІС було визначено декілька заходів. Поки що точність на рівні токена є єдиною з можливістю, вона страждає від двох проблем: переважна більшість токенів у реальному тексті не є частиною імен сутностей, як вони зазвичай визначаються, тому точність основної лінії (завжди передбачати «не об'єктна сутність») екстравагантно високий, зазвичай > 90 %. Також неправильний прогноз повного проміжку назви об'єкта не карається належним чином (пошук лише імені особи, коли її прізвище стоїть одразу після імені, оцінюється як ½ точності).

На академічних конференціях, таких як CoNLL, варіант оцінки F1 був визначений наступним чином:

Влучність — це кількість передбачуваних назв об'єкта, які вирівнюються точно з проміжками в золотого стандарту оцінки даних. Тобто, коли [Особа Ганс] [Особа Блік] передбачено, але було потрібно [Особа Ганс Блік], влучність передбаченого імені дорівнює нулю. Влучність потім усереднюється для всіх передбачених імен об'єктів. Повнота — аналогічним чином кількість імен у золотому стандарті, які з'являються в точно такому ж місці в прогнозах. F1 — це середнє гармонійне значення цих двох.

З визначення вище випливає, що будь-яке передбачення, яке пропускає один токен, містить в собі помилковий токен, або має неправильний клас, є жорсткою помилкою і не сприяє ані влучності, ані повноті.

Запропоновано моделі оцінювання, що базуються на узгодженні токена з токеном. Такі моделі здатні обробляти також збіги, які частково перекриваються, але повністю оцінювати тільки точні збіги. Вони дозволяють більш тонку оцінку і порівняння екстракційних систем, враховуючи також ступінь невідповідності в неточних прогнозах.

Підходи Системи РІС були створені з використанням лінгвістичних методів граматики, а також статистичних моделей, таких як машинне навчання. Системи граматики, створені вручну, зазвичай отримують більшу влучність, але ціною меншої повноти і місяцями роботи досвідчених лінгвістів. Статистичні системи РІС зазвичай вимагають великого обсягу вручну анотованих навчальних даних. Було запропоновано напівкеровані підходи, щоб уникнути частини зусиль анотації.

Багато різних типів класифікаторів були використані для виконання РІС з машинним навчанням, причому умовні випадкові поля є типовим вибором.

Проблеми з доменами Дослідження показують, що навіть найсучасніші системи РІС є крихкими, що означає, що системи РІС, розроблені для одного домену, зазвичай не працюють добре в інших областях. Значні зусилля приділяються налаштуванню систем РІС для успішної роботи в новому домені; це справедливо як для систем, заснованих на правилах, так і для статистичних систем.

Рання робота в системах РІС у 1990-х роках була спрямована, насамперед, на видобуток інформації з журналістських статей. Потім увагу звернулося на обробку військових відправлень і звітів. Пізніші етапи оцінки також включали кілька типів неформальних текстових стилів, таких як блоги та текстові транскрипції з телефонних розмов. Починаючи з 1998 року, існує велика зацікавленість у ідентифікації сутностей у молекулярній біології, біоінформатиці та обробці природних мов. Найбільш поширеним об'єктом інтересу в цьому домені були назви генів і генних продуктів. Також існує значний інтерес до розпізнавання хімічних об'єктів та наркотиків у контексті конкурсу CHEMDNER, в якому беруть участь 27 команд.

Сучасні виклики та дослідження Незважаючи на високий показник F1, що міститься в наборі даних MUC-7, проблема розпізнавання іменованих сутностей ще далеко не вирішена. Основні зусилля спрямовані на скорочення праці з анотаціями шляхом використання напівкерованого навчання,Turian, J., Ratinov, L., & Bengio, Y. (2010, July). Word representations: a simple and general method for semi-supervised learning. In Proceedings of the 48th Annual Meeting of the Association for Computational Linguistics (pp. 384—394). Association for Computational Linguistics. PDF надійної роботи в різних областяхRatinov, L., & Roth, D. (2009, June). Design challenges and misconceptions in named entity recognition. In Proceedings of the Thirteenth Conference on Computational Natural Language Learning (pp. 147—155). Association for Computational Linguistics. і масштабування до дрібнозернистих типів об'єктів.Sekine's Extended Named Entity Hierarchy . Nlp.cs.nyu.edu. Retrieved on 2013-07-21.Fine-Grained Named Entity Recognition Using Conditional Random Fields for Question Answering. Протягом останніх років багато проектів перейшли до краудсорсингу, що є перспективним рішенням, яке дозволить отримати сукупність якісних людських суджень для таких підходів розв'язання РІС, як кероване та напівкероване навчання. Іншою складною задачею є розробка моделей для роботи з мовними складними контекстами, такими як Twitter і пошукові запити.

Є дослідники, які зробили деякі порівняння про показники РІС з різних статистичних моделей, таких як ПММ (Прихована марковська модель), МЕ (), і УВП (Умовне випадкове поле) і набори функцій.Han, Li-Feng Aaron, Wong, Fai, Chao, Lidia Sam. (2013). Chinese Named Entity Recognition with Conditional Random Fields in the Light of Chinese Characteristics. Proceeding of International Conference of Language Processing and Intelligent Information Systems. M.A. Klopotek et al. (Eds.): IIS 2013, LNCS Vol. 7912, pp. 57–68 Деякі дослідники нещодавно запропонували напівкеровану модель навчання на основі графів для задач, пов'язаних з мовними специфічними РІС.Han, Li-Feng Aaron, Wong, Zeng, Xiaodong, Derek Fai, Chao, Lidia Sam. (2015). Chinese Named Entity Recognition with Graph-based Semi-supervised Learning Model. In Proceedings of SIGHAN workshop in ACL-IJCNLP. 2015.

Нещодавно з'явилася задача ідентифікації «важливих виразів» у тексті та перехресного їх з'єднання з Вікіпедією.Linking Documents to Encyclopedic Knowledge. Нижче наведено приклад виведення системи Вікіфікації:<ENTITY url="http://en.wikipedia.org/wiki/Michael_I._Jordan"> Michael Jordan </ENTITY> is a professor at <ENTITY url="http://en.wikipedia.org/wiki/University_of_California,_Berkeley"> Berkeley </ENTITY>Ще одним напрямком, що прогресує, але залишається складним, є застосування РІС до Твіттера та інших мікроблогів.Derczynski, Leon and Diana Maynard, Giuseppe Rizzo, Marieke van Erp, Genevieve Gorrell, Raphael Troncy, Johann Petrak, and Kalian Botcheva (2014). «Analysis of named entity recognition and linking for tweets». Information Processing and Management 51(2): pages 32-49.

Див. також Вирішення кореферентності Зв'язування іменованих сутностей (так звана нормалізація об'єктної сутності, неоднозначність об'єкта) Витяг інформації Видобуток знань

Ономастика

Примітки

Посилання