Яку методологію використовувати для дискримінації різних (музичних?) Тонів

Я намагаюся дослідити і з’ясувати, як найкраще напасти на цю проблему. Це стримує обробку музики, обробку зображень та обробку сигналів, і тому існує безліч способів переглянути це. Мені хотілося поцікавитись найкращими способами наближення до нього, оскільки те, що може здатися складним у чистому домі sig-proc, може бути простим (і вже вирішеним) людьми, які займаються обробкою зображень чи музики. У будь-якому випадку проблема полягає в наступному:

Якщо ви простите моєму малюнку проблеми, ми можемо побачити наступне:

З наведеного малюнка у мене є 3 різних "типи" сигналів. Перший - це імпульс, який на зразок "крокує" по частоті від до , а потім повторюється. Він має конкретну тривалість імпульсу та певний час повторення імпульсу.$f_1$$f_4$

Другий існує лише у , але має меншу довжину імпульсу та більш швидку частоту повторення імпульсу.$f_1$

Нарешті, третій - це просто тон у .$f_1$

Проблема полягає в тому, яким чином я підходжу до цієї проблеми, щоб я міг написати класифікатор, який може розрізняти сигнал-1, сигнал-2 та сигнал-3. Тобто, якщо ви подаєте йому один із сигналів, він повинен мати можливість сказати вам, що цей сигнал є таким і таким. Який найкращий класифікатор дав би мені діагональну матрицю плутанини?

Деякий додатковий контекст і те, що я до цього часу думав:

Як я вже казав, це обшиває ряд полів. Мені хотілося поцікавитись, які методології вже можуть існувати, перш ніж сісти і почати війну з цим. Я не хочу ненавмисно переосмислити колесо. Ось деякі думки, які я переглядав з різних точок зору.

Точка опрацювання сигналу: одне, на що я звернув увагу, - це робити цепстральний аналіз , а потім, можливо, використовуючи пропускну здатність Габора прокладки черепашки для розрізнення сигналу-3 від інших 2, а потім вимірювати найвищий пік черевної труби в дискримінаційному сигналі- 1 від сигналу-2. Це моє поточне робоче рішення для обробки сигналів.

Точка обробки зображень: Тут я думаю, оскільки я можу насправді створювати зображення відносно спектрограм, можливо, я можу використовувати щось із цього поля? Я не глибоко знайомий з цією частиною, але що робити з виявленням 'лінії' за допомогою Hough Transform , а потім якимось чином 'рахувати' рядки (що, якщо вони не є лініями і краплями?) Та йти звідти? Звичайно, в будь-який момент часу, коли я беру спектрограму, весь імпульс, який ви бачите, може бути зміщений уздовж осі часу, тож це буде мати значення? Не впевнений...

Позиція музичної обробки: Підмножина обробки сигналів напевно, але мені здається, що сигнал-1 має певну, можливо, повторювану (музичну?) Якість, яку люди в музичній програмі бачать весь час і вже вирішили в можливо, дискримінаційні інструменти? Не впевнений, але думка в мене виникла. Можливо, ця точка зору - найкращий спосіб поглянути на це, взявши шматок часової області та дражнивши ці ступінчасті ставки? Знову ж таки, це не моє поле, але я дуже підозрюю, що це щось, що було бачено раніше ... чи можемо ми розглядати всі 3 сигнали як різні типи музичних інструментів?

Я також повинен додати, що у мене є пристойний обсяг даних про навчання, тому, можливо, використання деяких з цих методів може просто дозволити мені зробити деякий видобуток функції, з яким я потім можу використовувати K-Найближчий сусід , але це лише думка.

У будь-якому випадку я зараз стою, будь-яка допомога вдячна.

Дякую!

РЕДАКТИ, засновані на коментарях:

• Так, , , , - всі заздалегідь відомі. (Дещо дисперсії, але дуже мало. Наприклад, скажемо, що ми знаємо, що = 400 Гц, але він може зайти в 401,32 Хц. Однак відстань до велика, тому може бути 500 Гц порівняно.) Сигнал-1 ЗАВЖДИ наступить на ці 4 відомі частоти. Сигнал-2 ВЖЕ буде мати 1 частоту.f 2 f 3 f 4 f 1 f 2 f $f_1$$f_2$$f_3$$f_4$$f_1$$f_2$$f_2$

• Швидкість повторення імпульсів і довжина імпульсу всіх трьох класів сигналів також всі відомі заздалегідь. (Знову деяка дисперсія, але дуже мало). Деякі застереження, хоча частота повторення імпульсу та довжина імпульсів сигналів 1 і 2 завжди відомі, але вони є діапазоном. На щастя, ці діапазони взагалі не перетинаються.

• Вхід - це безперервний часовий ряд, що надходить у режимі реального часу, але ми можемо припустити, що сигнали 1, 2 і 3 взаємно виключають, при цьому лише один з них існує в будь-який момент часу. У нас також є велика гнучкість щодо того, скільки часу ви забираєте його на обробку в будь-який момент часу.

• Дані можуть бути галасливими, так, і в діапазонах, що не є у наших відомих , , , можуть бути хибні тони тощо . Це цілком можливо. Ми можемо припустити, що середньовисокий показник SNR є лише для того, щоб "розпочати" проблему.f 2 f 3 f $f_1$$f_2$$f_3$$f_4$

Крок 1

Обчисліть STFT сигналу, використовуючи розмір кадру, менший за тривалість імпульсу. Я припускаю, що цей розмір кадру все ще запропонує достатню частотну дискримінацію між f1, f2, f3 та f4. - індекс кадру, - індекс FFT bin.m $S(m, k)$$m$$k$

Крок 2

Для кожного кадру STFT обчисліть домінуючу основну частоту, використовуючи щось на зразок YIN, поряд з індикатором "достовірності кроку", таким як глибина DMP "занурення", обчисленої YIN.

Назвемо домінанту f0, оцінену в кадрі і достовірність кроку, виявлену в кадрі .m v ( m ) $f(m)$$m$$v(m)$$m$

Зауважте, що якщо ваші дані не такі галасливі, ви можете піти, скориставшись автокореляцією як оцінкою висоти та відношенням більшого вторинного піку автокореляції до як показника достовірності кроку. Однак, YIN - це дешево.$r_0$

Можна також обчислити загальну енергію сигналу кадру FFT .$e(m)$$m$

Крок 3

Розглянемо розсувне вікно з кадрів STFT. вибирається таким, що перевищує час повторення імпульсу і в 5-10 разів менше типової довжини сегмента сигналу (наприклад, якщо поява сигналу триває близько 10 секунд, а розмір кадру STFT становить 20 мс, ви можете вибрати ).M M = $M$$M$$M = 50$

Витягніть такі функції:

• ( f ( m ) ) m ∈ [ k - M , k + M ] , v ( m ) > $\sigma_f(k)$ - стандартне відхилення послідовності$(f(m))_{m \in [k - M, k + M], v(m) > \tau}$
• ( v ( m ) ) m ∈ [ k - M , k + M $\sigma_v(k)$ - стандартне відхилення послідовності$(v(m))_{m \in [k - M, k + M]}$
• ( e ( m ) ) m ∈ [ k - M , k + M $\sigma_e(k)$ - стандартне відхилення послідовності$(e(m))_{m \in [k - M, k + M]}$

Інтуїтивно вимірює стабільність частоти основного складового компонента сигналу, вимірює мінливість "песистості" сигналу і мінливість амплітуди сигналу.σ v σ $\sigma_f$$\sigma_v$$\sigma_e$

Це будуть функції, на яких можна базувати своє виявлення. Сигнали типу 1 матимуть високий (мінливий крок) та помірний та (стабільна потужність сигналу). Сигнали типу 2 матимуть низький (стійкий крок) та високий та (змінна сила). Сигнали типу 3 матимуть низький (стійкий крок) та низький та (стійка сила).σ v σ e σ f σ v σ e σ f σ v σ $\sigma_f$$\sigma_v$$\sigma_e$$\sigma_f$$\sigma_v$$\sigma_e$$\sigma_f$$\sigma_v$$\sigma_e$

Обчисліть ці 3 функції на своїх даних про навчання і підготуйте наївний байєсівський класифікатор (лише купа гауссових розподілів). Залежно від того, наскільки хороші ваші дані, ви навіть можете піти з класифікаторів і використовувати визначені вручну пороги для функцій, хоча я не рекомендую цього.

Крок 4

Для обробки вхідного потоку даних обчисліть STFT, обчисліть функції та класифікуйте кожне вікно STFT-кадрів.$M$

Якщо ваші дані та класифікатор хороші, ви побачите щось подібне:

1, 1, 1, 1, 1, 1, 1, 1, 1, 2, 2, 2, 2, 2, 1, 1, 1, 1, 1, 1, 3, 3, 3, 3, 3, 3, 3

Це досить добре розмежовує час початку та закінчення та тип кожного сигналу.

Якщо ваші дані шумні, повинні бути помилкові неправильно класифіковані кадри:

1, 1, 1, 1, 1, 2, 1, 1, 1, 2, 2, 3, 2, 2, 1, 1, 3, 1, 1, 1, 3, 3, 3, 2, 3, 3, 3

Якщо ви бачите багато лайна, як у другому випадку, використовуйте фільтр режимів для даних по сусідству з 3 або 5 виявленнями; або використовувати HMM.

Візьміть домашнє повідомлення

Те, на чому ви хочете базувати своє виявлення, не є спектральною ознакою, а узагальненою часовою статистикою спектральних ознак для вікон, які мають ту саму шкалу, що і тривалість вашого сигналу. Ця проблема дійсно вимагає обробки на двох масштабах часу: кадр STFT, на якому ви обчислюєте дуже локальні властивості сигналу (амплітуда, домінуючий крок, сила висоти) і більші вікна, над якими ви заглядаєте на часову мінливість цих властивостей сигналу.

Альтернативним підходом можуть бути чотири гетеродинових детектора: Помножте вхідний сигнал на локальні осцилятори 4 частот і фільтр низьких частот на отримані виходи. Кожен вихід представляє вертикальну лінію на вашому малюнку. Ви отримуєте вихід на кожній з 4-х частот як функцію часу. За допомогою фільтра низьких частот ви можете набрати, яке відхилення частоти ви хочете дозволити, а також як швидко ви хочете змінити результати, тобто наскільки гострі краї.

Це буде добре, навіть якщо сигнал досить галасливий.