Визначте, де починається спів з голосового запису

У мене є невеликий додаток у стилі караоке, де користувач співає 4 рядки пісні, з розривом на одну секунду між кожним рядком. Немає музики, що підтримує музику, тому голос є лише голосом, сподіваємось, що проблему легше вирішити.

Я шукаю найбільш надійний спосіб точно визначити, де в моєму записі користувач починає і закінчує співочий рядок 1, починає і закінчує співочий рядок 2 тощо.

Я склав спільно спрощений алгоритм, який працює, коли в записі дуже мало фонового шуму (наприклад, коли це відбувається?), Але він падає на шматки при наявності найменшого шуму.

Чи може хтось вказати мені на щось більш міцне?

Якщо фоновий шум є білим, ви можете виміряти спектральну площину і вважати його голосовим, коли амплітуда вище деякого порогу, а спектральна площинність - нижче деякого порогу.

В основному ви просто берете FFT відрізка сигналу, а потім ділите середнє значення геометричного спектру на середнє арифметичне.

Ви також можете використати смуговий фільтр, щоб підкреслити лише частотні області, де людський голос зазвичай сидить (так само просто, як встановити небажані області FFT на 0 перед вимірюванням спектральної плоскості)

Раніше я використовував спектральний потік і, здається, він працює добре. Основна ідея полягає в тому, щоб створити спектрограму свого сигналу в межах смуг, які вам цікаві. Припустимо, що ваша частота знаходиться на осі y, а ваш час - на осі x, як .

Це означає, що ваша спектрограма є матрицею. Кожен стовпець представляє абсолютне значення FFT одного оснащеного часу в часі вашого сигналу, і кожен рядок відображає, як з часом змінюється енергія однієї смуги.

Тепер просто візьміть різницю стовпців. Тобто візьміть стовпчик і відніміть із себе стовпець перед ним, і зробіть для всіх стовпців. (Очевидно, залишаючи стартові стовпці в спокої). Потім підсумовуйте всі смуги. Тобто, просто підсумовуйте всі рядки разом.

Ви будете в кінцевому підсумку з 1-D сигналу , який кодує сигнал вашого началами . Це підкаже, звідки починається ваш голос.

Редагувати:

Тепер, коли ви виявили набори, якщо ви хочете виявити протилежне (тобто, коли сигнал переходить від активності до жодної), спектральний потік фактично дає вам цю інформацію. Де б у вас не було наступу, у вас буде позитивний пік, і де б у вас не було десятки (за відсутністю кращого слова), ви матимете негативний пік.

Я б просто взяв перший позитивний пік і останній негативний пік, щоб позначити загальний час початку та зупинки мого сигналу.

Зі свого досвіду я б спробував вивчити коефіцієнти Мель-Частота-Шестигранні (MFCC) . MFCC досить легко здійснити, якщо у вас є FFT і використовується досить часто при обробці голосу.

За допомогою MFCC ви зможете відрізнити фактичні голосові дані від шуму.

" Спектральний потік " (також його називають "спектральною різницею") є загальним методом "виявлення початку". В основному ви берете послідовні FFT сигналу і підсумовуєте величини відмінностей відра FFT від одного зразка до іншого. "Початок", як правило, буде представлений значним "стрибком" у цьому значенні.

Google "виявлення настання" для інших ідей.

Використання спектрального потоку поодинці може створювати помилкові позитиви щодо певних шумів, а також виявляти співочий голос.

Спів зазвичай передбачає вміст сигналу, що містить крок, тому ви можете використовувати детектор кроку або оцінювач (cepstrum тощо). Ви можете з розумом перевірити частку енергії, яка виявлена ​​як тактова, порівняно із загальною енергією сигналу, і на те, що орієнтовний крок знаходиться в межах людського голосу. Це знизило б помилково позитивну швидкість для невключеного шуму, а також музичних звуків поза нормальним діапазоном голосу.