Родина корпусів ТенТен (англ. The TenTen Corpus Family) — це сукупність порівняльних веб-корпусів, укладених з лінгвістично вартісних текстів всесвітньої павутини. Доступ до корпусів реалізовано через корпусний менеджер Sketch Engine. Інструментарій цієї веб-платформи дає змогу детально досліджувати граматику, лексику та термінологію, аналізувати переклади, укладати частотні словники.

До родини ТенТен входять корпуси 42 мов (за даними на квітень 2022). Цільовий розмір кожного з корпусів становить 10 мільярдів (1010) слововживань, це число й дало їм назву (1010 — «ten-ten»).

Щоб отримати доступ до корпусів ТенТен, необхідно авторизуватися та купити підписку на сайті Sketch Engine. Можна скористатися 30-денним пробним періодом.

Історія створення Родина корпусів ТенТен — це спільний проєкт Центру обробки природних мов факультету інформатики Університету Масарика (Брно, Чехія) та компанії Lexical Computing. Безпосередньо над розробкою корпусів ТенТен працювали: Мілош Якубічек (чес. Miloš Jakubíček), Войтех Коварж (чес. Vojtěch Kovář), Павел Рихли (чес. Pavel Rychlý), Віт Сухомель (чес. Vít Suchomel) і Адам Кілґарріфф (англ. Adam Kilgarriff).

Концепція порівняльних веб-корпусів зародилася ще в 2006 р. Ця ідея належить Марку Бароні, професорові кафедри лінгвістики Каталонського інституту перспективних досліджень (англ. Catalan Institution for Research and Advanced Studies), Адамові Кілґарріффу, корпусному лінгвісту й одному з розробників Sketch Engine, і Сергію Шарову — російському комп'ютерному лінгвісту. Згодом у 2013 р. на Сьомій міжнародній конференції з корпусної лінгвістики у Ланкастері (англ. 7th International Corpus Linguistics Conference CL) розробники із Університету Масарика та Sketch Engine презентували принципово новий проєкт — Сімейство веб-корпусів ТенТен, а також власне допоміжне програмне забезпечення для корпусних лінгвістів — SpiderLing, jusText і ONION.

Процес укладання Процедура створення корпусів ТенТен базується на попередніх дослідженнях розробників щодо підготовки та опрацювання інформації для веб-корпусів. До цього алгоритму входять наступні кроки:

Насамперед веб-сканер SpiderLing завантажує величезну кількість даних зі всесвітньої мережі. Потім за допомогою інструмента jusText зібрана інформація очищується від будь-якого нетекстового матеріалу у вихідному коді HTML. Важливо, щоб залишалися лише повні суцільні речення, а навігаційні посилання та верхні й нижні колонтитули було видалено. Проводиться лексичний аналіз (токенізація) матеріалів. Лексичний аналіз можна розділити на два етапи: сканування, яке сегментує вхідний рядок у синтаксичні одиниці, які називаються лексемами, та класифікує їх у класи токенів; та обчислення, яке перетворює лексеми в оброблені значення. Наступний етап — дедублікація даних у корпусі. Вона полягає у виявленні та видаленні однакових за змістом даних. З цією метою застосовується ще один інструмент для роботи з масивами текстів — ONION (ONe Instance ONly). Потреба в дедублікації виникає через такі поширені в Інтернеті явища, як копіювання, цитування, покликання на джерело, тощо. Останній крок — морфологічна розмітка корпусу: для кожної словоформи визначаються теги (граматичні ознаки).

Інструменти для роботи з корпусами ТенТен Повний набір інструментів Search Engine складається з таких категорій:

Word Sketch та Word Sketch Difference — дослідження граматичних зв'язків у словосполученнях і колокаціях; Thesaurus — генерування тезаурусів — словників синонімів або слів з певних семантичних полів; Keywords та Bilingual Terms — створення вибірки ключових слів і термінів з корпусу однієї мови або порівняльних корпусів двох мов; Word Lists — автоматичне укладання частотних словників; N-grams — укладання частотних словників н-грам; Concordance та Parallel Concordance — пошук у конкордансах, зокрема й двомовних. Ця опція дає змогу детально вивчити текст, досліджувати функціонування мови в контексті; Text Type Analysis — аналіз даних зі всього корпусу.

Структура даних у корпусах Усі корпуси ТенТен мають однакову специфічну структуру метаданих. Метадані містяться в структурних атрибутах, які стосуються окремих документів і параграфів у корпусі. Деякі корпуси ТенТен мають ще й додаткові специфічні атрибути.

Атрибути документа

Домен верхнього рівня — домен на найвищому рівні ієрархічної системи доменних імен (наприклад, «com»); веб-сайт — ідентифікаційний рядок, що визначає сферу адміністративної автономії в Інтернеті (наприклад, «wikipedia.org»); веб-домен — сукупність пов'язаних веб-сторінок (наприклад, «uk.wikipedia.org»); дата сканування — дата, коли документ було завантажено з Інтернету; URL — уніфікований локатор ресурсу з посиланням на джерело документа; підрахунок слів — кількість слів у документі; довжина — класифікація документа за діапазоном, яка визначається його довжиною та може вимірюватися тисячами слів.

Атрибути абзацу

Заголовок — числовий атрибут, що відрізняє колонтитули та подібні заголовки від звичайного основного тексту (якщо абзац є заголовком — його позначають «1», якщо колонтитулом — «0»).

Доступні корпуси ТенТен Станом на квітень 2022 року за допомогою Sketch Engine можна отримати доступ до таких корпусів:

arTenTen (веб-корпус арабської мови) beTenTen (веб-корпус білоруської мови) bgTenTen (веб-корпус болгарської мови) caTenTen (веб-корпус каталонської мови) cebTenTen (веб-корпус себуанської мови) csTenTen (веб-корпус чеської мови) daTenTen (веб-корпус данської мови) deTenTen (веб-корпус німецької мови) elTenTen (веб-корпус грецької мови) enTenTen (веб-корпус англійської мови) esTenTen (веб-корпус іспанської мови з підкорпусами європейського й американського мовних варіантів іспанської) etTenTen (веб-корпус естонської мови) fiTenTen (веб-корпус фінської мови) frTenTen (веб-корпус французької мови) heTenTen (веб-корпус івриту) hiTenTen (веб-корпус гінді) huTenTen (веб-корпус угорської мови) itTenTen (веб-корпус італійської мови) isTenTen (веб-корпус ісландської мови) jaTenTen (веб-корпус японської мови) kmTenTen (веб-корпус кхмерської мови) koTenTen (веб-корпус корейської мови) loTenTen (веб-корпус лаоської мови) ltTenTen (веб-корпус литовської мови) lvTenTen (веб-корпус латиської мови) miTenTen (веб-корпус мови маорі) nlTenTen (веб-корпус нідерландської мови) noTenTen (веб-корпус норвезької мови) plTenTen (веб-корпус польської мови) ptTenTen (веб-корпус португальської мови) roTenTen (веб-корпус румунської мови) ruTenTen (веб-корпус російської мови) skTenTen (веб-корпус словацької мови) slTenTen (веб-корпус словенської мови) svTenTen (веб-корпус шведської мови) teTenTen (веб-корпус мови телугу) thTenTen (веб-корпус тайської мови) tlTenTen (веб-корпус таґальської мови) trTenTen (веб-корпус турецької мови) ukTenTen (веб-корпус української мови) ukTenTen (веб-корпус мови урду) zhTenTen (корпус китайської мови)

Див. також

Корпус тексту Веб-сканер (павук) Дедублікація даних

Примітки

Посилання

Сімейство корпусів ТенТен (на веб-сайті Sketch Engine) Сайт компанії Lexical Computing Інструмент для дедублікації даних в масивах текстів ONION