Автоматичний переклад жестової мови став можливим, хоч і в обмеженій мірі, з 1977 року, коли одному дослідницькому проєкту вдалося зіставити англійські літери з клавіатури з літерами ручного алфавіту американської жестової мови (ASL). Ця технологія перекладає жестову мову на письмову або усну мову, а також письмову або усну мову на жестову — без участі перекладача (людини). Жестові мови мають фонологічні особливості, що відрізняються від властивих природним мовам, що стало перешкодою для розробників. Вони використовують візуальне та машинне навчання для розпізнавання специфічних фонологічних параметрів, притаманних лише жестовим мовам, а також розпізнавання мовлення і обробку природної мови, що дозволяє налагодити інтерактивну комунікацію між чуючими людьми та людьми з вадами слуху.

Обмеження Техніки перекладу жестової мови мають ті самі обмеження, що й техніки перекладу усної мови. Жодна з них не може забезпечити 100 % точність. Насправді, техніки перекладу жестової мови значно поступаються своїм аналогам у сфері усної мови. Це зумовлено тим, що жестові мови мають численні способи артикуляції. Якщо усні мови передаються через голосовий тракт, то жестові мови — через рухи рук, плечей, голови, тулуба та деякі вирази обличчя. Така багатоканальна форма вираження робить переклад жестових мов надзвичайно складним.

Ще однією складністю для автоматичного перекладу жестової мови є відсутність офіційної писемної форми цієї мови. Існують системи нотаток та транскрипцій, проте жодна система письма не була достатньо широко прийнята міжнародною спільнотою людей з порушенням слуху, щоб вважатися «писемною формою» певної жестової мови. Жестові мови фіксуються здебільшого у форматі відео. Наприклад, не існує загальноприйнятого великого паралельного корпусу даних, який можна було б використати для статистичного машинного перекладу (SMT).

Історія Історія автоматичного перекладу жестової мови почалася з розробки апаратного забезпечення, зокрема роботизованих рук для цифрового правопису. У 1977 році проєкт під назвою RALPH (скорочення від «Robotic Alphabet») створив роботизовану руку, здатну відтворювати алфавіт за допомогою пальців.

Пізніше широкого поширення набули рукавички з сенсорами руху — з'явилися такі проєкти, як CyberGlove та VPL Data Glove. Ці пристрої дозволяли фіксувати форму та рухи мовців жестової мови за допомогою програмного забезпечення на комп'ютері. Проте камери разом із розвитком комп'ютерного зору згодом витіснили ці пристрої завдяки своїй ефективності та меншій кількості фізичних обмежень для мовців жестової мови.

Щоб обробити зібрані дані, дослідники використовували нейронні мережі, наприклад, симулятор нейронної мережі Штутгарта (Stuttgart Neural Network Simulator) для розпізнавання шаблонів у таких проєктах, як CyberGlove. Дослідники також застосовують інші методи розпізнавання жестів, зокрема приховані моделі Маркова для статистичного аналізу даних, а також програми машинного навчання, як-от GRASP, що використовують тренувальні набори для підвищення точності розпізнавання.

Технології

SignAloud

SignAloud — це технологія, що включає пару рукавичок, створених групою студентів Вашингтонського університету, які транслітерують американську жестову мову (ASL) на англійську мову. Восени 2016 року двоє чуючих студентів цього університету, Томас Прайор і Девід Азоді, придумали цей пристрій. Азоді має великий досвід у сфері бізнес-адміністрування, а Прайор — інженер. У травні 2016 року вони розповіли NPR, що почали тісніше співпрацювати з носіями ASL, щоб краще розуміти свою аудиторію та адаптувати продукт до потреб користувачів, а не припускати, що їм потрібно. Проте з того часу нових версій пристрою не випускали. Їхній винахід став одним із семи проєктів, які отримали студентську премію Lemelson MIT, що відзначає молодих винахідників. Вони включили свій пристрій у категорію «Користуйся цим!» з технологічними покращеннями існуючих продуктів. Винагорода склала 10 000 доларів. Рукавички мають сенсори, які відстежують рухи рук користувачів і передають дані на комп'ютер через Bluetooth. Система аналізує ці дані й переводить у слова англійською, які потім відтворюються цифровим голосом. Проте рукавички не забезпечують двосторонній зв'язок: вони не перетворюють англійську мову на жести, не відтворюють жестову мову і не можуть передавати міміку чи інші немануальні елементи жестової мови, що важливо для точного розуміння ASL.

ProDeaf

ProDeaf (також відома як WebLibras) — це програмне забезпечення для перекладу тексту й голосу на бразильську жестову мову «Libras». Його мета — покращити комунікацію між глухими та чуючими. Наразі також розробляється бета-версія для американської жестової мови.

Проєкт почався у 2010 році в Університеті Universidad Federal de Pernambuco (UFPE) за участі команди студентів та експертів: лінгвістів, дизайнерів, програмістів і перекладачів — як чуючих, так і глухих. У групі був один глухий учасник, якому було складно спілкуватися з командою, тому вони створили компанію Proativa Soluções, яка надалі продовжила розвиток технології. Проте бета-версія для американської жестової мови має обмеження. Наприклад, у словнику лише одне слово на літеру «S» — це «стрибати». Якщо слова немає в системі, цифровий аватар просто його по-літерно вимовляє. Останнє оновлення програми відбулося в червні 2016 року, але ProDeaf вже згадували понад 400 разів у ЗМІ Бразилії. Оскільки програма не може «зчитувати» жести та перетворювати їх у текст, це — односторонній інструмент комунікації. До того ж, користувачі не можуть увійти в систему та отримати переклад на англійську — ця функція ще у розробці.

Kinect Sign Language Translator

З 2012 року деякі дослідники з Китайської академії наук та фахівці з освіти для глухих із Пекінського союзу університетів співпрацюють з азійською командою Microsoft Research над створенням перекладача жестової мови для Kinect.

Цей перекладач має два режими: переклад і комунікацію. У режимі перекладу система здатна перекладати слова одне за одним з жестової мови у письмову мову й навпаки. А режим комунікації дозволяє перекладати цілі фрази, і за допомогою 3D-аватара вести автоматизовану розмову.

Цей перекладач також може розпізнавати положення рук, форму руки й траєкторію руху, використовуючи технології машинного навчання, розпізнавання образів і комп'ютерний зір. Система підтримує двосторонню комунікацію: вона може перетворювати усну мову в жестову мову, а 3D-аватар демонструє переклад для глухих користувачів.

Проєкт спочатку був спрямований на переклад китайської жестової мови. У 2013 році його представили на Microsoft Research Faculty Summit та загальній зустрічі Microsoft. Наразі деякі дослідники працюють у США над впровадженням підтримки американської жестової мови. Система все ще є прототипом, а точність перекладу і розпізнавання потребує вдосконалення.

SignAll

SignAll — це система автоматичного перекладу жестової мови, розроблена компанією Dolphio Technologies в Угорщині. Команда проєкту стала першопрохідцем у створенні першого автоматизованого перекладача жестової мови на основі комп'ютерного зору та обробки природної мови (NLP), який дозволяє людям, що спілкуються американською жестовою мовою (ASL), ефективно комунікувати у повсякденному житті.

Система SignAll використовує пристрій Kinect від Microsoft та інші вебкамери з сенсорами глибини, підключені до комп'ютера. Технологія комп'ютерного зору здатна розпізнавати форму рук і рухи користувача, який спілкується жестовою мовою. Потім система обробки природної мови перетворює зібрані дані на прості англійські речення.

Розробник проєкту є глухим, а інші учасники команди — інженери й лінгвісти, як глухі, так і чуючі. Ця технологія враховує всі п'ять параметрів ASL, що дозволяє точно інтерпретувати жести користувача. Такі компанії, як Deloitte і LT-innovate, спонсорували проєкт, а Microsoft Bizspark та Hungary's Renewal долучилися до його реалізації.

MotionSavvy

MotionSavvy став першим пристроєм, який перекладає жестову мову у голос. Група студентів з Rochester Institute of Technology / National Technical Institute for the Deaf створила цей пристрій під назвою UNI у 2012 році, ідея якого виникла в рамках акселератора Leap Motion AXLR8R.

Команда використала планшетний чохол, який інтегрував технології контролера Leap Motion. Усі шість членів команди були глухими студентами з факультету освіти для глухих. Пристрій UNI — один із двох на той момент, що забезпечував двосторонню комунікацію виключно для американської жестової мови: глухі могли жестами «говорити» до пристрою, а він перекладав це у голосову англійську, або навпаки — приймав усну англійську та перекладав її на жести.

Ціна пристрою становила 198 доларів. Серед інших функцій:

можливість взаємодії в реальному часі, Sign Builder — функція, що дозволяє користувачам створювати нові жести, CrowdSign — спільнота для обміну й завантаження жестів.

Багато технологічних видань відгукнулися позитивно про пристрій. Журнал TIME назвав його технологією, що «може змінити життя глухих». Wired заявив, що технологія виглядає «майже магічною», а Engadget зазначив, що «UNI може стати неймовірним інструментом комунікації».

VISICAST

Proyecto eSIGN

The American Sign Language Avatar Project at DePaul University

Spanish to LSE

Примітки