Допоможіть обчислити / зрозуміти MFCC: Коефіцієнти частоти мель-частоти

Я читав в Інтернеті шматочки та фрагменти, але просто не можу все це скласти разом. У мене є деякі базові знання про сигнали / DSP речі, які повинні бути достатньою умовою для цього. Мене цікавить врешті-решт кодування цього алгоритму на Java, але я ще не розумію його повністю, тому я тут (це вважається математикою, правда?).

Ось як я думаю, що це працює разом із прогалинами в моїх знаннях.

1. Почніть зі свого звукового зразка мови, скажімо, файл .wav, який ви можете прочитати у масиві. Назвіть цей масив , де варіюється від (так вибірки). Значення відповідають інтенсивності звуку, я думаю - амплітудам.n 0 , 1 , … , N - 1 $x[n]$$n$$0, 1, \ldots ,N-1$$N$

2. Розділіть аудіосигнал на окремі "кадри" розміром 10 мс, якщо ви вважаєте, що мовленнєвий сигнал є "нерухомим". Це форма квантування. Отже, якщо швидкість вибірки становить 44,1 кГц, 10 мс дорівнює 441 вибірці або значенню .$x[n]$

3. Зробіть перетворення Фур'є (FFT для обчислення). Тепер це робиться на всьому сигналі або на кожному окремому кадрі ? Я думаю, що є різниця, оскільки в цілому перетворення Фур'є розглядає всі елементи сигналу, тому з'єднаний з з'єднані з де - менші кадри. У будь-якому випадку, скажімо, ми робимо деякий FFT і закінчуємо на решту цього.F ( x [ n ] ) ≠ F ( x 1 [ n ] ) F ( x 2 [ n ] ) … F ( x N [ n ] ) x i [ n ] X [ k $x[n]$$\mathcal F(x[n]) \neq \mathcal F(x_1[n])$$\mathcal F(x_2[n])$$\ldots \mathcal F(x_N[n])$$x_i[n]$$X[k]$

4. Картографування до масштабу Мела та ведення журналів. Я знаю, як перетворити звичайні номери частот на шкалу Мела. Для кожного з ("вісь x", якщо ви мені дозволите), ви можете зробити формулу тут: http://en.wikipedia.org/wiki/Mel_scale . Але як щодо "y-значень" або амплітуд ? Вони просто залишаються тими ж значеннями, але зміщуються до відповідних плям на новій осі Мела (x-)? Я бачив, що в деякому документі було щось про реєстрацію фактичних значень тому що якщо коли один з цих сигналів вважається шумом, ви не хочете , робота журналу в цьому рівнянні перетворює мультиплікативний шум у аддитивний шум, який, сподіваємось, може бути відфільтрований (?).$k$$X[k]$$X[k]$$X[k]$$X[k] = A[k]*B[k]$

5. Тепер останнім кроком є ​​прийняття DCT вашого зміненого зверху (однак він в кінцевому підсумку стає модифікованим). Потім ви берете амплітуди цього кінцевого результату, і це ваші MFCC. Я читав щось про викидання значень високої частоти.$X[k]$

Тому я намагаюся по-справжньому вияснити, як обчислити цих хлопців крок за кроком, і явно деякі речі ухиляються від мене згори.

Крім того, я чув про використання "фільтрів банків" (масив частотних фільтрів в основному) і не знаю, чи це стосується створення кадрів з вихідного сигналу, чи, можливо, ви робите кадри після FFT?

Нарешті, є щось, що я бачив про MFCC, що мають 13 коефіцієнтів?

Крок за кроком...

1. & 2 . Це вірно. Зауважимо, що кадри зазвичай перекриваються, наприклад, кадр 0 є зразками 0 до 440; кадр 1 - зразки 220 до 660; кадр 2 - це зразки 440 до 880 і так далі ... Зауважте також, що до зразків у кадрі застосовується функція вікна .

3 . Перетворення Фур'є проводиться для кожного кадру. Мотивація цього проста: мовленнєвий сигнал змінюється з часом, але нерухомий на коротких сегментах. Ви хочете проаналізувати кожен короткий сегмент окремо - тому що на цьому сегменті сигнал є досить простим, щоб бути описаним ефективно кількома коефіцієнтами. Подумайте, хтось сказав "привіт". Ви не хочете, щоб усі фонеми згорталися в один єдиний спектр (FFT згортає тимчасову інформацію), аналізуючи одразу весь звук. Ви хочете побачити "hhhhheeeeeeeeeelloooooooooo", щоб розпізнати слово етап за стадією, тому його треба розбити на короткі сегменти.

4 . "Зіставлення до шкали Мела" вводить в оману, і тому, мабуть, ви плутаєтесь. Кращим описом для цього кроку було б: "Обчислити енергію сигналу через банк фільтрів, налаштованих на частоту розтоплення". Ось як це робиться. Ми вважаємо частот (загальновживане значення N = 40 ), однаково розташованих за шкалою мель, між 20 Гц (дно діапазону слуху) і частотою Найкіста. Практичний приклад. Сигнал відбирається на частоті 8 кГц, і нам потрібно 40 бункерів. Оскільки 4 кГц (Nyquist) становить 2250 мел., Центральні частоти фільтрабек становитимуть: 0 мел., 2250/39 мел., 2 х 2250/39 мел. 2250 мел.$N$$N = 40$

Після того, як ці частоти були визначені, ми обчислюємо зважену суму величин FFT (або енергій) навколо кожної з цих частот.

Подивіться на наступну картинку, що представляє собою фільтр-банк з 12 бункерами:

8-й бін має центральну частоту близько 2 кГц. Енергія у 8-му бункері отримується шляхом підсумовування зважених енергій ПЗП приблизно в 1600 до 2800 Гц - при цьому вага досягає приблизно 2 кГц.

Примітка до впровадження: Ця купа зважених сум може бути виконана за одну операцію - матричне множення "матриці фільтрів" за вектором енергій FFT.

Таким чином, на цьому етапі ми «узагальнили» спектр ПЗП у набір енергетичних значень 40 (12 на ілюстрації), кожне з яких відповідає різному діапазону частот. Ми беремо журнал цих значень.

$K$$K = 13$