Яка математична модель звуку може зробити можливим зміщення тону окремих нот у (тембрально складній) поліфонії?


24

Моє запитання: Яка математична модель поліфонічного звучання може зробити можливим зміну (тобто зміщення висоти тону) окремих музичних нот у багатоголосовому аудіозаписі багатоголосового звуку поліфонічного акустичного музичного інструменту? Під «зміною нот в поліфонічному звуку» я маю на увазі виконувати щось на зразок редагування звуку за допомогою так званої функції « Direct Note Access » у програмному забезпеченні Melodyne в програмі Celeony.

Згідно з Вікіпедією , те, що Мелодіна використовує для моделювання звукового сигналу мелодії, що грає на акустичному (і, таким чином, тембрально складному) музичному інструменті, - це щось на зразок того, що Хеннінг Тілеманн описує у своїй роботі під назвою " Розплутування фази та часу в однотонних звуках ". Однак, Я не можу знайти посилання на моделі звукових сигналів поліфонічних музичних інструментів; Згідно з інтерв'ю Пітера Нойскера на Youtube (транскрипція нижче), особливість Мелодіни для роботи з редагуванням поліфонічного звуку вимагає підходу на відміну від описаного Тилеманом.

Один із підказок іншого кліпу на ютубі - це те, що модель Нойбекера краще працює з аудіозаписом лише одного КІНДУ інструменту (тобто лише фортепіано, лише гітара, лише струни, лише вітри тощо). Ще одна підказка - це ще один кліп, що демонструє здатність не лише зрушувати крок ноти, але й (починаючи та закінчуючи) терміни її.


Нижче наводиться стенограма відео на YouTube, в якому згадувалося, що "поліфонічні матеріали вимагають іншого підходу" (якщо ви не встигнете переглянути його з 22:00).

  • Питання, з якого виникла Мелодіна: як я можу отримати звук із такої тривимірної форми, як ця [жестикулюючи каменем у руці]? Якими засобами звук може бути звільнений від своєї залежності від постійного часу? Ця скульптура насправді виникла з цього ... Це шматок пластику .... Це було отримане безпосередньо з музичних даних. Цей об’єкт [вищипує нота на лютні] цю ноту. Найкраще візуалізувати так, зліва направо. Час йде в цьому напрямку [жестикулюючи вліво-вправо]. І це амплітуда [жестикулюючи великим і малим пальцем, протилежним великим пальцем]. Якщо я поверну його, він ... представляє тембр цього звуку в будь-якому випадку. Тут дуже чітко видно структуру [вказує на перетин внизу скульптури], яка дещо трикутна; це тому, що в цьому звуці,

    Оскільки Мелодіна ще не існувала, і я просто експериментував з перекладом звуку в цю форму, я майже рік працював з цим звуком. ... Я знаю цей звук усередині і зовні і напам'ять. Це також забезпечує гарну ілюстрацію місцевого звуку. Я можу не тільки відтворювати звук [клацання мишкою], але і можу вводити звук будь-якої точки, і переміщуватися по ньому так само повільно або швидко, як мені подобається. Я навіть можу затриматися в звуку або рухатися вперед і назад, тому якщо я вивчу тут одне місце ... обійдіть його. ... Десять років тому це було новим.

    Нещодавно додано dna (прямий доступ до нот). З його допомогою я також можу редагувати поліфонічну музику. Іншими словами, я можу редагувати окремо ноти, які звучать одночасно, наприклад, запис на гітарі. Якщо я зараз зіграю невеликий акорд [вибравши Полі -> Окремі нотатки на екрані], ми побачимо тут 3 ноти, які я щойно грав у якості окремих сутностей. Давайте просто послухаємо ще раз [комп’ютер грає мінорний акорд]. І тепер, ніби пересуваючи палець на більш високу ладу, я можу підняти цю одну ноту [перетягування ноти на екран вгору; комп'ютер грає основний акорд]. Для розділеного звуку я можу виділити цю ноту і тепер за бажанням можна переміщувати її вгору або вниз, на будь-який крок.

    Чому раніше ніхто не зміг виділити окремі тони в межах складного матеріалу? Я, чесно кажучи, не знаю. У науці природна тенденція полягає в тому, щоб почати з чогось простого, наприклад, синусоїди, або окремих приміток, і проаналізувати це спочатку, лише щоб виявити, коли матеріал стає складнішим або його слід розглядати у повному обсязі, що система не працює. Мій підхід інший. Я фактично починаю зі складних сигналів, і лише тоді, коли мені хочеться щось детально вивчити, я повертаюсь до більш простих, але спочатку я повинен мати загальне враження про те, що насправді відбувається насправді.

    Чи секрет, можливо, криється в цьому рулоні? Хе-хе, це насправді луо-рулон. Первісно поставлений камінь питання полягав у тому, як я можу перевести заданий звук у тривимірну форму. Тут я впорядкував індивіди відбору значень звуку, зазначених тут двома трьома і так, по спіралі. І виявляється, що якщо інтерполювати між точками [жестикулюючи по спіралі], виникає пейзаж, який також представляє окремі перерізи звуку [жестикулюючи перерізи скульптури].

    Скільки років ролик? 12 років. Тож ця ідея - це джерело Мелодіни із усього, що ми сьогодні бачили ...? Так, але такий спосіб згортання звуку більше не буде корисним для поліфонічних матеріалів, що вимагає іншого підходу.


Зараз немає часу, але ви, можливо, захочете прочитати деякі роботи Білла Сетареса про консонанс . Я спробую переконатись у вашій публікації та відповісти більш повно на наступні кілька днів.
Пітер К.

Я не впевнений, в чому питання. Ізолювати окремі ноти і «навивки вгору звук» змушує мене думати , обгорткового спектр по спіралі так, щоб гармоніки нотою лінії один з одним: nastechservices.com/Spectrograms.html nastechservices.com/Spectratune.html
ендоліти

Відповіді:


12

TL; DR? Google Академія для гармонійного часткового розділення .


Гарною відправною точкою були б методи синусоїдального моделювання, які розділяють сигнал на синуси + шум (детерміновані та стохастичні) компоненти. Детермінований компонент, що складається з синусів, можна переконцензувати переконливо:

http://mtg.upf.edu/files/projectsweb/sms-piano-original.wav

http://mtg.upf.edu/files/projectsweb/sms-piano-deterministic.wav

Синуси віднімаються від сигналу, і шумна / стохастична частина залишається.

http://mtg.upf.edu/files/projectsweb/sms-piano-stochastic.wav

Стохастична частина синтезується шляхом подачі шуму через якийсь шум-фільтр-фільтр. Деякі інші поширили це на модель синус + шум + перехідні періоди, що допомагає зберегти перехідні стохастичні особливості під час розтягування.

https://ccrma.stanford.edu/~jos/sasp/Sines_Noise_Modeling.html

http://mtg.upf.edu/technologies/sms

Коли у вас є синусоїдальні параметри сигналу, можна розділити синуси перекриваючих нот, шукаючи співвідношення гармонік і групувати за початком і т. Д. Часткове відстеження виявляє багато результатів у Google Scholar.

http://recherche.ircam.fr/equipes/analyse-synthese/lagrange/research/papers/lagrangeIcassp05.pdf

http://dream.cs.bath.ac.uk/software/sndan/mqan.html

Моделі , поліноми і приховані Маркові - деякі з методів. Мене спотикає розділити стохастичні залишки на дві ноти. Я не знаю, як Мелодіна вирішує це.


5

Підхід, застосований в мелодії, вимагає 2 окремих операцій з частотною областю. По-перше, поліфонічні методи транскрипції використовуються для групування частотних компонентів (від стандартного перетворення частоти) поліфонічного звуку в активацію нот. Іншими словами, групуйте гармонічні підмножини відповідно до найбільш ймовірних активацій нот. Дивіться мою відповідь на "Зворотне поліфонічне розпізнавання акордів" на цьому форумі щодо довідок та математичних моделей.

Друга операція полягає в зсуві частоти доменної частоти гармонічних підмножин, витягнутих вище. Я не впевнений, але я майже гарантую, що Мелодіна використовує фазовий вокодер для цього. Ви також можете проводити розтяжку часу за допомогою цієї техніки . Ми використовуємо методи, подібні до цих у Riffstation, і вони працюють досить добре.


3

Однією з можливостей може бути аналіз / повторний синтез, використовуючи підхід узгодження статистичної структури. Якщо ви знаєте або можете обґрунтовано здогадуватися про поєднання інструментів, що займаються, та мають шаблони (включаючи початкові перехідні процеси, спектр плюс спектральна еволюція тощо) для звучання інструменту для всіх очікуваних нот, ви можете спробувати статистичну відповідність великої кількості здорових акордів комбінації, що використовують шаблонні звукові шаблони для оцінки найбільш вірогідних поліфонічних комбінацій. Це, ймовірно, буде дуже обчислювально обчислювальним пошуком глобальних мінімумів, де можуть бути корисні різні "пошукові" методи пошуку. Потім ви можете взяти різні ймовірності індивідуальних акордів, а потім використовувати теорії рішень, щоб вибрати найбільш вірогідні поліфонічні послідовності в часі.

Потім візьміть оцінені нотатки та повторно їх синтезуйте за обраним ключовим кроком та тривалістю.

Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.