Распознавание речи — автоматический процесс преобразования речевого сигнала в цифровую информацию (например, текстовые данные). Обратной задачей является синтез речи (text-to-speech).
История
XX век Первое устройство для распознавания речи появилось в 1952 году. Разработанное компанией Bell Laboratories, «Одри» (Audrey, но произносится , сокр. от Automatic Digit Recognizer) могла распознавать произнесённые диктором цифрыDavies , K.H., Biddulph, R. and Balashek, S. (1952) Automatic Speech Recognition of Spoken Digits, J. Acoust. Soc. Am. 24 (6) pp. 637—642 от 0 до 9. Принцип работы заключался в том, что устройство измеряло энергию в определенных частотных диапазонах, чтобы идентифицировать цифры на основе гласных звуков. Однако устройство нужно было настраивать под голос определённого человека, поэтому широкого распространения «Одри» не получила.
В 1950-х годах американская компания IBM начала разработки собственного устройства распознавания голоса. Под руководством Уильяма Дёрша, в подразделении в Сан-Хосе был разработан прототип «Сьюткейс» (Suitcase), позже ставший компактным IBM Shoebox, который был представлен перед американской прессой в 1961 году. Устройство, в дополнение к цифрам от 0 до 9, могло определить 16 произносимых английских слов, требуя 31 транзистор против 200 на слово у других производителей. Позднее, устройство было показано перед публикой на Всемирной выставке в Сиэтле в 1962 году.
В 1963 году в США были презентованы разработанные инженерами корпорации Sperry миниатюрные распознающие устройства с волоконно-оптическим запоминающим устройством под названием «Септрон» (Sceptron, но произносится без «к»)Klass, Philip J. Fiber Optic Device Recognizes Signals. // Aviation Week & Space Technology. — N.Y.: McGraw-Hill, 1962. — Vol. 77 — No. 20 — P. 94-101., выполняющие ту или иную последовательность действий на произнесённые человеком-оператором определённые фразы. «Септроны» годились для применения в сфере фиксированной (проводной) связи для автоматизации набора номеров голосом и автоматической записи надиктовываемого текста телетайпом, могли применяться в военной сфере (для голосового управления сложными образцами военной техники), авиации (для создания «умной авионики», реагирующей на команды пилота и членов экипажа), автоматизированных системах управления и др.Memory Cells . // Military Review. — April 1963. — Vol. 43 — No. 4 — P. 99.Armagnac, Alden P. «Tell It to Sceptron!» // Popular Science. — April 1963. — Vol. 182 — No. 4 — P. 120.. В 1983 году был презентован интерактивный комплекс «умной авионики» для ударных вертолётов «Апач», распознающий команды и запросы пилота, преобразующий их в сигналы управления на бортовое оборудование и односложно отвечающий ему голосом относительно возможности реализации поставленной им задачиVoice-operated Computer Tested. // Air Defense Artillery. — Spring 1983. — No. 2 — P. 54..
Коммерческие программы по распознаванию речи появились в начале 90-х годов. Обычно их используют люди, которые из-за травмы руки не в состоянии набирать большое количество текста. Эти программы (например, , ) переводят голос пользователя в текст, таким образом, разгружая его руки. Надёжность перевода у таких программ не очень высока, но с годами она постепенно улучшается.
XXI век
Увеличение вычислительных мощностей мобильных устройств позволило и для них создать программы с функцией распознавания речи. Среди таких программ стоит отметить приложение Microsoft Voice Command, которое позволяет работать со многими приложениями при помощи голоса. Например, можно включить воспроизведение музыки в плеере или создать новый документ.
Все большую популярность применение распознавания речи находит в различных сферах бизнеса, например, врач в поликлинике может проговаривать диагнозы, которые тут же будут внесены в электронную карточку. Или другой пример. Наверняка каждый хоть раз в жизни мечтал с помощью голоса выключить свет или открыть окно. В последнее время в телефонных интерактивных приложениях все чаще стали использоваться системы автоматического распознавания и синтеза речи. В этом случае общение с голосовым порталом становится более естественным, так как выбор в нём может быть осуществлен не только с помощью тонового набора, но и с помощью голосовых команд. При этом системы распознавания являются независимыми от дикторов, то есть распознают голос любого человека.
Следующим шагом технологий распознавания речи можно считать развитие так называемых интерфейсов безмолвного доступа (silent speech interfaces, SSI). Эти системы обработки речи базируются на получении и обработке речевых сигналов на ранней стадии артикулирования. Данный этап развития распознавания речи вызван двумя существенными недостатками современных систем распознавания: чрезмерная чувствительность к шумам, а также необходимость четкой и ясной речи при обращении к системе распознавания. Подход, основанный на SSI, заключается в том, чтобы использовать новые сенсоры, не подверженные влиянию шумов в качестве дополнения к обработанным акустическим сигналам.
Классификация систем распознавания речи Системы распознавания речи классифицируются: по размеру словаря (ограниченный набор слов, словарь большого размера); по зависимости от диктора (дикторозависимые и дикторонезависимые системы); по типу речи (слитная или раздельная речь); по назначению (системы диктовки, командные системы); по используемому алгоритму (нейронные сети, скрытые Марковские модели, динамическое программирование); по типу структурной единицы (фразы, слова, фонемы, дифоны, аллофоны); по принципу выделения структурных единиц (распознавание по шаблону, выделение лексических элементов).
Для систем автоматического распознавания речи, помехозащищённость обеспечивается, прежде всего, использованием двух механизмов: Использование нескольких, параллельно работающих, способов выделения одних и тех же элементов речевого сигнала на базе анализа акустического сигнала; Параллельное независимое использование сегментного (фонемного) и целостного восприятия слов в потоке речи.
Методы и алгоритмы распознавания речи
«… очевидно, что алгоритмы обработки речевого сигнала в модели восприятия речи должны использовать ту же систему понятий и отношений, которой пользуется человек».
Сегодня системы распознавания речи строятся на основе принципов признания . Методы и алгоритмы, которые использовались до сих пор, могут быть разделены на следующие большие классы распознавания речи на основе сравнения с эталоном: Динамическое программирование — временные динамические алгоритмы (Dynamic Time Warping). Контекстно-зависимая классификация. При её реализации из потока речи выделяются отдельные лексические элементы — фонемы и аллофоны, которые затем объединяются в слоги и морфемы.
Методы дискриминантного анализа, основанные на Байесовской дискриминации (Bayesian discrimination); Скрытые Марковские модели (Hidden Markov Model, см. Марковское свойство); Нейронные сети (Neural networks).
Алгоритм динамической трансформации временной шкалы используется для определения того, речевые сигналы представляют одну и ту же исходную произнесённую фразу.
Архитектура систем распознавания Одна из архитектур систем автоматической обработки речи, основанной на статистических данных, может быть следующей: Модуль шумоочистки и отделение полезного сигнала. Акустическая модель — позволяет оценить распознавание речевого сегмента с точки зрения схожести на звуковом уровне. Для каждого звука изначально строится сложная статистическая модель, которая описывает произнесение этого звука в речи. Языковая модель — позволяют определить наиболее вероятные последовательности слов. Сложность построения языковой модели во многом зависит от конкретного языка. Так, для английского языка достаточно использовать статистические модели (так называемые N-граммы). Для высокофлективных языков (языков, в которых существует много форм одного и того же слова), к которым относится и русский, языковые модели, построенные только с использованием статистики, уже не дают такого эффекта — слишком много нужно данных, чтобы достоверно оценить статистические связи между словами. Поэтому применяют гибридные языковые модели, использующие правила русского языка, информацию о части речи и форме слова и классическую статистическую модель.
Декодер — программный компонент системы распознавания, который совмещает данные, получаемые в ходе распознавания от акустических и языковых моделей, и на основании их объединения, определяет наиболее вероятную последовательность слов, которая и является конечным результатом распознавания слитной речи.
Этапы распознавания: Обработка речи начинается с оценки качества речевого сигнала. На этом этапе определяется уровень помех и искажений. Результат оценки поступает в модуль акустической адаптации, который управляет модулем расчета параметров речи, необходимых для распознавания. В сигнале выделяются участки, содержащие речь, и происходит оценка параметров речи. Происходит выделение фонетических и просодических вероятностных характеристик для синтаксического, семантического и прагматического анализа. (Оценка информации о части речи, форме слова и статистические связи между словами.) Далее параметры речи поступают в основной блок системы распознавания — декодер. Это компонент, который сопоставляет входной речевой поток с информацией, хранящейся в акустических и языковых моделях, и определяет наиболее вероятную последовательность слов, которая и является конечным результатом распознавания.
Признаки эмоционально окрашенной речи в системах распознавания
Основные понятия, которые характеризуют параметры речи человека, связанные с формой, размерами, динамикой изменения речеобразующего тракта и описывающие эмоциональное состояния человека, можно разделить на четыре группы объективных признаков, позволяющих различать речевые образцы: спектрально-временные, кепстральные, амплитудно-частотные и признаки нелинейной динамики. Подробнее, каждая группа признаков:
Спектрально-временные признаки Спектральные признаки: Среднее значение спектра анализируемого речевого сигнала; Нормализованные средние значения спектра; Относительное время пребывания сигнала в полосах спектра; Нормализованное время пребывания сигнала в полосах спектра; Медианное значение спектра речи в полосах; Относительная мощность спектра речи в полосах; Вариация огибающих спектра речи; Нормализованные величины вариации огибающих спектра речи; Коэффициенты кросскорреляции спектральных огибающих между полосами спектра.
Временные признаки: Длительность сегмента, фонемы; Высота сегмента; Коэффициент формы сегмента.
Спектрально-временные признаки характеризуют речевой сигнал в его физико-математической сущности исходя из наличия компонентов трех видов: периодических (тональных) участков звуковой волны; непериодических участков звуковой волны (шумовых, взрывных); участков, не содержащих речевых пауз.
Спектрально-временные признаки позволяют отражать своеобразие формы временного ряда и спектра голосовых импульсов у разных лиц и особенности фильтрующих функций их речевых трактов. Характеризуют особенности речевого потока, связанные с динамикой перестройки артикуляционных органов речи говорящего, и являются интегральными характеристиками речевого потока, отражающими своеобразие взаимосвязи или синхронности движения артикуляционных органов говорящего.
Кепстральные признаки Мел-частотные кепстральные коэффициенты; Коэффициенты линейного предсказания с коррекцией на неравномерность чувствительности человеческого уха; Коэффициенты мощности частоты регистрации; Коэффициенты спектра линейного предсказания; Коэффициенты кепстра линейного предсказания.