У лінгвістиці та мовних технологіях мовні ресурси – це «[сукупність] лінгвістичного матеріалу, що використовується для побудови, вдосконалення та/або оцінки програм обробки мови, (...) у мовних дослідженнях та програмах». LD4LT (2020), The Metashare Ontology as Created by the LD4LT Community Group , W3C Community Group Linked Data for Language Technology (LD4LT), Development branch, version of Mar 10, 2020
Згідно з працею «Розширення метаданих Дублінського ядра для підтримки опису та виявлення мовних ресурсів» (2003), мовні ресурси включають:
дані, тобто «будь-яку інформацію, що документує або описує мову, така як опублікована монографія, комп’ютерний файлз даними або навіть коробка з-під взуття, наповнена рукописними картками. Інформація може варіюватися за своїм вмістом від непроаналізованих звукозаписів до повністю транскрибованих та анотованих текстів і повної описової граматики», інструменти, тобто «обчислювальні ресурси, що сприяють створенню, перегляду, уточненню або іншому використанню мовних даних», поради, тобто «будь-яку інформацію про те, які джерела даних є надійними, які інструменти доречні в певній ситуації, яких практик слід дотримуватися під час створення нових даних». Останній аспект зазвичай називають в роботах «найкращими практиками» або «стандартами спільноти».
У вужчому сенсі, мовний ресурс застосовується до тих ресурсів, які є доступними саме у цифровій формі, і тоді він «охоплює: а) набори даних (текстові, мультимодальні/мультимедійні та лексичні дані, граматики, мовні моделі тощо) у формі, яку зможе зчитати машина, та б) інструменти/технології/сервіси, що використовуються для їх обробки та управління». LD4LT (2020), The Metashare Ontology as Created by the LD4LT Community Group , W3C Community Group Linked Data for Language Technology (LD4LT), Development branch, version of Mar 10, 2020
Класифікація Станом на травень 2020 року не було встановлено жодної широко використовуваної класифікації мовних ресурсів (актуальні пропозиції включають LREMap, METASHARE, та, для самих даних, класифікацію LLOD ). Важливі класи мовних ресурсів включають:
дані: лексичні ресурси, наприклад, електронні словники, лінгвістичні корпуси, тобто цифрові колекції даних природної мови, лінгвістичні бази даних, такі як колекція міжлінгвістичних зв'язаних даних, інструменти: лінгвістичне анотування та інструменти для створення таких анотацій вручну або напівавтоматизованим способом (наприклад, інструменти для анотування приміток, такі як Toolbox та FLEx, або інші інструменти мовної документації), програми для пошуку та вилучення таких даних (системи управління корпусом), для автоматизованого анотування (розмітка частин мови, синтаксичний аналіз, семантичний тощо), метадані та словники: словники, репозиторії лінгвістичної термінології та мовних метаданих, наприклад, MetaShare, реєстр категорій даних ISO 12620 (для лінгвістичних ознак, структур даних та анотацій у мовному ресурсі) або база даних Glottolog (ідентифікатори мовних видів та бібліографічна база даних).
Публікація, поширення та створення мовних ресурсів Головним завданням дослідників, що займаються вивченням мовних ресурсів, був розвиток структур та платформ для представлення, обговорення та поширення мовних ресурсів. Серед відібраних внесків у цьому напрямку:
серія Міжнародних конференцій з мовних ресурсів та оцінювання (LREC), Європейська асоціація мовних ресурсів (ELRA, базується в ЄС) та Консорціум лінгвістичних даних (LDC, базується в США), які представляють комерційні платформи хостингу та поширення мовних ресурсів, Спільнота архівів відкритих мов (OLAC), яка надає та об'єднує метадані мовних ресурсів, Журнал мовних ресурсів та оцінювання (LREJ), Європейська мовна сітка (European Language Grid) – це європейська платформа для мовних технологій (послуг), даних та ресурсів.
Що стосується розробки стандартів та найкращих практик для роботи з мовними ресурсами, то вони є предметом діяльності кількох громадських груп та зусиль щодо стандартизації цих самих ресурсів, зокрема:
Технічний комітет ISO 37: Термінологія та інші мовні та контентні ресурси ( ISO/TC 37 ), що розробляє стандарти для всіх аспектів мовних ресурсів, Група спільноти W3C «Найкращі практики для багатомовних відкритих даних, що пов'язані між собою» (BPMLOD) працює над рекомендаціями щодо рекомендованих практик публікації мовних ресурсів у вигляді зв’язаних даних або в RDF . Група спільноти W3C «Зв’язані дані для мовних технологій» (LD4LT) працює над лінгвістичними анотаціями в Інтернеті та метаданими мовних ресурсів, Група спільноти W3C Ontology-Lexica (OntoLex) працює над лексичними ресурсами, Робоча група з лінгвістики, що належить Open Knowledge Foundation, працює над протоколами щодо публікації та поєднання доступних мовних ресурсів, розробляє хмару доступних лінгвістичних пов’язаних даних Text Encoding Initiative (TEI) працює над інструкціями на основі XML для мовних ресурсів та цифрового редагування тексту.
Список джерел