Мел-частотный кепстр (МЧК, , MFC) — это представление кратковременного спектра мощности звука на основе линейного косинусного преобразоания логарифмического спектра мощности по нелинейной частоты.
Мел-частотные кепстральные коэффициенты (МЧКК, , MFCCs) — это коэффициенты, которые в совокупности формируют МЧК. Они получаются из кепстрального представления аудиозаписи (нелинейный «спектр спектра»). Отличие между кепстром и мел-частотным кепстром в том, что в МЧК частотные полосы равномерно распределены по мел-шкале, которая лучше аппроксимирует реакцию человеческой слуховой системы, чем линейно расположенные частотные полосы, используемые в обычном спектре. такое частотное преобразование может улучшить представление звука, например, в аудиокомпрессии, что потенциально снижает требования к и объёму хранения аудиосигналов.
МЧКК обычно вычисляются следующим образом:
Выполняется преобразование Фурье (оконного фрагмента) сигнала. Мощности полученного спектра отображаются на с использованием треугольных или перекрывающихся окон. Вычисляются логарифмы мощностей для каждой мел-частоты.. Применяется дискретное косинусное преобразование к списку логарифмов мощностей мел-частот, как если бы это был сигнал. МЧКК являются амплитудами полученного спектра.
Возможны вариации этого процесса, например, при выборе формы окна, используемого для отображения на мел-шкалу, или путём добавления динамических коэфициентов, таких как «дельта» и «дельта-дельта» (разница между кадрами первого и второго порядка).
Европейский институт телекоммуникационных стандартов в начале 2000-х годов установил стандартизованный алгоритм МЧКК для использования в сотовых телефонах.
Приложения МЧКК обычно используются как признаки в системах распознавания речи, таких как распознавание произнесённых номеров при телефонном вызове.
МЧКК всё чаще применяются в приложениях извлечения музыкальной информации, таких как классификация жанров, измерение схожести, и так далее.
МЧКК для распознавания говорящего Поскольку мел-частотные полосы равномерно распределены в МЧКК и очень похожи на голосовую систему человека, МЧКК могут эффективно использоваться для характеристики говорящих. Например, их можно применять для распознавания характеристик модели мобильного телефона говорящего, а также для более детального анализа его голоса.
Такое распознавание мобильных устройств возможно благодаря производственным допускам электронных компонентов в телефоне, а также тому, что различные электронных схем не имеют абсолютно одинаковых передаточных функций. Различия в передаточной функции от одной реализации к другой становятся более выраженными, если схемы, выполняющие задачу, произведены разными изготовителями. Следовательно, каждый мобильный телефон вносит свёрточные искажения во входную речь, что оставляет уникальный отпечаток на записях, сделанных с этого телефона. Таким образом, конкретный телефон можно идентифицировать (определяя марку и модель телефона) по записанной речи, умножая исходный частотный спектр на дополнительные значения передаточных функций, специфичных для каждого телефона, с последующим применением методов обработки сигналов.
Рассматривая секцию записи мобильного телефона как линейный стационарный по времени LTI фильтр ():
Пусть h(n) будет импульсной характеристикой, а записанный речевой сигнал y(n) является выходом фильтра при входном сигнале x(n).
Тогда (свёртка)
Поскольку речь не является стационарным сигналом, она разбивается на перекрывающиеся кадры, внутри которых сигнал считается стационарным. Следовательно, -й короткий сегмент (кадр) записанной входной речи имеет вид:
,
где w(n) — оконная функция с длиной окна W.
Таким образом, «отпечаток» сотового телефона в записанной речи — это искажение свёртки, которое помогает идентифицировать записывающее устройство.
Встроенная идентификация мобильного телефона требует преобразования в более узнаваемую форму, поэтому применяя оконное преобразование Фурье получим:
может рассматриваться как присоединённая передаточная функция, которая образует входную речь, а записанная речь может пониматься как исходная речь из телефона.
Таким образом, эквивалентная передаточная функция голосового тракта и рекордера мобильного телефона считается первоисточником записанной речи. Таким образом,
где Xew(f) — функция возбуждения, — передаточная функция голосового тракта для речи в -м кадре, а — эквивалентная передаточная функция, характеризующая мобильный телефон.
Этот подход может быть полезен для распознавания диктора, поскольку идентификация устройства и идентификация диктора тесно связаны.
Придавая значение огибающей спектра, которая умножается на банк фильтров (подходящий кепстр с банком фильтров на мел-шкале), после сглаживания банка фильтров передаточной функцией U(f), логарифмирование выходных энергий даёт:
Обозначив , получим
МЧКК успешно применяются благодаря нелинейному преобразованию с аддитивными свойствами.
При обратном преобразовании во временну́ю область получим:
где cy(j) представляет собой кепстр записанной речи, ce(j) и cw(j) — взвешенные эквивалентные импульсные характеристики диктофона мобильного телефона, которые описывают его особенности. Переменная j обозначает количество фильтров в банке фильтров.
Точнее говоря, информация, специфичная для устройства, содержится в записанной речи, которая преобразуется в аддитивную форму, подходящую для идентификации.
Значение cy(j) может быть дополнительно обработано для идентификации телефона, с которого была сделана запись.
Часто используется длина кадра 20 мс.
Обычно применяемые оконные функции — это окна Хэмминга и Ханна..
Мел-шкала является часто используемой частотной шкалой, которая линейна до 1000 Гц и логарифмична выше этого значения.
Расчет центральных частот фильтров в мел-шкале производится по формуле:
.
Основная процедура расчета МЧКК:
Логарифмические выходы банка фильтров умножаются на 20 для получения спектральных огибающих в децибелах. МЧКК получают путём применения дискретного косинусного преобразования к спектральной огибающей. Кепстральные коэффициенты вычисляются по формуле
, ,
где соответствует -му МЧКК коэффициенту, — количество треугольных фильтров в банке фильтров, — логарифмический энергетический выход -го коэффициента фильтра, а — количество коэффициентов МЧКК, которые необходимо вычислить.
Инверсия МЧКК может быть приблизительно преобразовано в аудио в четыре этапа: (a1) применяется обратное дискретное косинусное преобразование для получения мел-спектрограммы логарифмической мощности (в дБ) (a2) происходит преобразование в мощность для получения мел-спектрограммы мощности (b1) выполняется масштабирование для получения амплитуд оконного преобразования Фурье (b2) осуществляется восстановление фазы и синтез аудио с использованием алгоритма Гриффина-Лима. Каждый из этих шагов соответствует одному из этапов вычисления МЧКК.
Чувствительность к шуму
Значения МЧКК не очень устойчивы к аддитивному шуму, поэтому в системах распознавания речи для уменьшения влияния шума их часто нормализуют. Некоторые исследователи предлагают модификации базового алгоритма МЧКК для повышения его устойчивости, например, путём возведения логарифмических мел-амплитуд в подходящую степень (около 2 или 3) перед выполнением дискретного косинусного преобразования, что снижает влияние низкоэнергетических компонентов.
История Разработка МЧК обычно приписывается Полу Мермельштейну. Сам Мермельштейн утверждает, что идея принадлежит Бридлу и Брауну:
Бридл и Браун использовали набор из 19 взвешенных коэффициентов формы спектра, полученных путём косинусного преобразования выходов набора неравномерно расположенных полосовых фильтров. Расстояние между фильтрами выбиралось логарифмическим выше 1 кГц, и их полосы пропускания также увеличивались. Поэтому мы называем их мел-кепстральными.
Иногда упоминаются оба ранних автор.
Многие исследователи, включая Дэвиса и Мермельштейна, отмечали, что спектральные базисные функции косинусного преобразования в МЧК очень похожи на главные компоненты логарифмических спектров, которые значительно раньше применялись для представления и распознавания речи Полсом и его коллегами.
См. также
Психоакустика
Примечания
Литература
article-number=012073
Doctoral dissertation
Ссылки MATLAB Codes for MFCC and Other Speech Features A tutorial on MFCCs for Automatic Speech Recognition
Категория:Обработка сигналов