Понимание естественного языка (NLU) или интерпретация естественного языка (NLI)Semaan, P. (2012). Natural Language Generation: An Overview . Journal of Computer Science & Research (JCSCR)-ISSN, 50-57 — подраздел обработки естественного языка в искусственном интеллекте, который имеет дело с машинным пониманием текста. Понимание естественного языка является AI-полной задачейRoman V. Yampolskiy. Turing Test as a Defining Feature of AI-Completeness. In Artificial Intelligence, Evolutionary Computation and Metaheuristics (AIECM) --In the footsteps of Alan Turing. Xin-She Yang (Ed.). pp. 3-17. (Chapter 1). Springer, London. 2013. http://cecs.louisville.edu/ry/TuringTestasaDefiningFeature04270003.pdf .
Существует значительный коммерческий интерес к этой области из-за её применения к автоматизированному рассуждениюVan Harmelen, Frank, Vladimir Lifschitz, and Bruce Porter, eds. Handbook of knowledge representation . Vol. 1. Elsevier, 2008., машинному переводуMacherey, Klaus, Franz Josef Och, and Hermann Ney. «Natural language understanding using statistical machine translation .» Seventh European Conference on Speech Communication and Technology. 2001., ответам на вопросыHirschman, Lynette, and Robert Gaizauskas. «Natural language question answering: the view from here .» natural language engineering 7.4 (2001): 275—300., сбору новостей, классификации текста, голосовой активации, архивированию и крупномасштабному анализу контента.
История Программа STUDENT, написанная в 1964 году Дэниелом Бобровым для его докторской диссертации в Массачусетском технологическом институте, является одной из первых известных попыток компьютерного понимания естественного языкаAmerican Association for Artificial Intelligence Brief History of AI Daniel Bobrow's PhD Thesis Natural Language Input for a Computer Problem Solving System.Machines who think by Pamela McCorduck 2004 page 286Russell, Stuart J.; Norvig, Peter (2003), Artificial Intelligence: A Modern Approach Prentice Hall, , http://aima.cs.berkeley.edu/ , p. 19Computer Science Logo Style: Beyond programming by Brian Harvey 1997 page 278. Через восемь лет после того, как Джон Маккарти ввел термин «искусственный интеллект», в диссертации Боброва (озаглавленной «Ввод данных на естественном языке для компьютерной системы решения задач») было показано, как компьютер может понимать простой ввод данных на естественном языке для решения задач по алгебре.
Год спустя, в 1965 году, Джозеф Вейценбаум из Массачусетского технологического института написал ELIZA, интерактивную программу, которая вела диалог на английском языке на любую тему, самой популярной из которых была психотерапия. ELIZA работала путем простого синтаксического анализа и замены ключевых слов на готовые фразы, а Вейценбаум обошел проблему предоставления программе базы данных реальных знаний или богатого словарного запаса. Тем не менее ELIZA приобрела удивительную популярность как игрушечный проект и может рассматриваться как очень ранний предшественник современных коммерческих систем, таких как те, которые используются Ask.comWeizenbaum, Joseph (1976). Computer power and human reason: from judgment to calculation W. H. Freeman and Company. pages 188—189.
В 1969 году Роджер Шанк из Стэнфордского университета представил концептуальную теорию зависимости для понимания естественного языкаRoger Schank, 1969, A conceptual dependency parser for natural language Proceedings of the 1969 conference on Computational linguistics, Sång-Säby, Sweden, pages 1-3. Эта модель, на которую частично повлияла работа Сиднея Лэмба, широко использовалась студентами Шанка в Йельском университете, такими как Роберт Виленски, Венди Ленерт и Джанет Колоднер.
В 1970 году Уильям А. Вудс представил сеть расширенных переходов (ATN) для представления ввода на естественном языкеWoods, William A (1970). «Transition Network Grammars for Natural Language Analysis». Communications of the ACM 13 (10): 591—606 . Вместо правил структуры фраз ATN использовали эквивалентный набор автоматов с конечным состоянием, которые вызывались рекурсивно. ATN и их более общий формат, называемый «обобщенными ATN», продолжали использоваться в течение ряда лет.
В 1971 году Терри Виноград закончил писать SHRDLU для своей докторской диссертации в Массачусетском технологическом институте. SHRDLU мог понимать простые английские предложения в ограниченном мире детских блоков, чтобы направлять роботизированную руку для перемещения предметов. Успешная демонстрация SHRDLU придала значительный импульс дальнейшим исследованиям в этой областиArtificial intelligence: critical concepts, Volume 1 by Ronald Chrisley, Sander Begeer 2000 page 89Terry Winograd’s SHRDLU page at Stanford SHRDLU . Виноград продолжал оказывать большое влияние в этой области с публикацией своей книги «Язык как когнитивный процесс»Winograd, Terry (1983), Language as a Cognitive Process, Addison-Wesley, Reading, MA.. В Стэнфорде Виноград позже будет консультировать Ларри Пейджа, сооснователя Google.
В 1970-х и 1980-х годах группа обработки естественного языка в SRI International продолжала исследования и разработки в этой области. На основе этого исследования был предпринят ряд коммерческих проектов, например, в 1982 году Гэри Хендрикс основал Symantec Corporation, первоначально как компанию для разработки интерфейса на естественном языке для запросов к базе данных на персональных компьютерах. Однако с появлением графических пользовательских интерфейсов, управляемых мышью, Symantec изменила направление. Ряд других коммерческих проектов был начат примерно в то же время, например, Ларри Р. Харрис в Корпорации искусственного интеллекта и Роджер Шанк и его ученики в Cognitive Systems CorpLarry R. Harris, Research at the Artificial Intelligence corp. ACM SIGART Bulletin, issue 79, January 1982 Inside case-based reasoning by Christopher K. Riesbeck, Roger C. Schank 1989 page xiii. В 1983 году Майкл Дайер разработал в Йельском университете систему BORIS, которая имела сходство с работой Роджера Шанка и В. Г. ЛенертаIn Depth Understanding: A Model of Integrated Process for Narrative Comprehension.. Michael G. Dyer. MIT Press. .
В третьем тысячелетии появились системы, использующие машинное обучение для классификации текста, такие как IBM Watson. Однако эксперты спорят о том, насколько «понимание» демонстрируют такие системы: например, по словам Джона Серла, Ватсон даже не понимал вопросов.
Джон Болл, когнитивист и изобретатель Патомской теории, поддерживает эту оценку. Обработка естественного языка позволила приложениям поддерживать производительность труда в сфере обслуживания и электронной коммерции, но это в значительной степени стало возможным благодаря сужению области применения. Существуют тысячи способов запросить что-то на человеческом языке, которые до сих пор не поддаются обычной обработке естественного языка. «Осмысленный разговор с машинами возможен только тогда, когда мы сопоставляем каждое слово с правильным значением, основанным на значениях других слов в предложении — точно так же, как трехлетний ребёнок делает это без догадок».
Сфера и контекст Общий термин «понимание естественного языка» может применяться к разнообразному набору компьютерных приложений, начиная от небольших, относительно простых задач, таких как короткие команды, отдаваемые роботам, до очень сложных задач, таких как полное понимание газетных статей или отрывков из стихов. Многие реальные приложения находятся между двумя крайностями, например, классификация текста для автоматического анализа электронных писем и их маршрутизация в соответствующий отдел корпорации не требует глубокого понимания текстаAn approach to hierarchical email categorization by Peifeng Li et al. in Natural language processing and information systems edited by Zoubida Kedad, Nadira Lammari 2007 , но требует с гораздо большим словарным запасом и более разнообразным синтаксисом, чем управление простыми запросами к таблицам базы данных с фиксированными схемами.
На протяжении многих лет предпринимались различные попытки обработки естественного языка или англоподобных предложений, представляемых компьютерам, с разной степенью сложности. Некоторые попытки не привели к созданию систем с глубоким пониманием, но повысили общее удобство использования системы. Например, Уэйн Рэтлифф изначально разработал программу Vulcan с синтаксисом, похожим на английский, чтобы имитировать англоязычный компьютер в «Звездном пути». Позже Vulcan стал системой dBase, чей простой в использовании синтаксис эффективно положил начало индустрии баз данных для персональных компьютеровInfoWorld, Nov 13, 1989, page 144InfoWorld, April 19, 1984, page 71. Однако системы с простым в использовании синтаксисом, похожим на английский, сильно отличаются от систем, которые используют богатый словарный запас и включают внутреннее представление (часто в виде логики первого порядка) семантики предложений естественного языка.
Следовательно, широта и глубина «понимания», к которому стремится система, определяют как сложность системы (и подразумеваемые проблемы), так и типы приложений, с которыми она может работать. «Широта» системы измеряется размерами её словарного запаса и грамматики. «Глубина» измеряется степенью, в которой его понимание приближается к пониманию носителя языка. В самых узких и неглубоких интерпретаторах команд, похожих на английский язык, требуется минимальная сложность, но они имеют небольшой диапазон приложений. Узкие, но глубокие системы исследуют и моделируют механизмы пониманияBuilding Working Models of Full Natural-Language Understanding in Limited Pragmatic Domains by James Mason 2010 , но они все ещё имеют ограниченное применение. Системы, которые пытаются понять содержание документа, такого как выпуск новостей, помимо простого сопоставления ключевых слов, и оценить его пригодность для пользователя, шире и требуют значительной сложностиMining the Web: discovering knowledge from hypertext data by Soumen Chakrabarti 2002 page 289, но они все ещё не достаточно глубокие. Системы, которые являются одновременно очень широкими и очень глубокими, выходят за рамки современного уровня техники.
Компоненты и архитектура Независимо от используемого подхода, большинство систем понимания естественного языка имеют некоторые общие компоненты. Системе нужен словарь языка, синтаксический анализатор и правила грамматики, чтобы разбивать предложения на внутреннее представление. Создание богатого словаря с подходящей онтологией требует значительных усилий, например, словарь Wordnet потребовал многих человеко-лет усилийG. A. Miller, R. Beckwith, C. D. Fellbaum, D. Gross, K. Miller. 1990. WordNet: An online lexical database. Int. J. Lexicograph. 3, 4, pp. 235—244..
Системе также нужна теория из семантики, чтобы корректировать понимание. Возможности интерпретации системы понимания языка зависят от семантической теории, которую она использует. У конкурирующих семантических теорий языка есть определённые компромиссы в отношении их пригодности в качестве основы для автоматизированной компьютерной семантической интерпретацииUsing computers in linguistics: a practical guide by John Lawler, Helen Aristar Dry 198 page 209. Они варьируются от наивной семантики или стохастического семантического анализа до использования прагматики для извлечения значения из контекстаNaive semantics for natural language understanding by Kathleen Dahlgren 1988 Stochastically-based semantic analysis by Wolfgang Minker, Alex Waibel, Joseph Mariani 1999 Pragmatics and natural language understanding by Georgia M. Green 1996 . Семантические анализаторы преобразуют тексты на естественном языке в представления формального значенияWong, Yuk Wah, and Raymond J. Mooney. «Learning for semantic parsing with statistical machine translation .» Proceedings of the main conference on Human Language Technology Conference of the North American Chapter of the Association of Computational Linguistics. Association for Computational Linguistics, 2006..