Алгоритм (и) для змішування звукових сигналів без відсікання

Я хотів би змішати два або більше аудіоканалів PCM (наприклад, записані зразки) цифровим способом акустично вірно, бажано майже в реальному часі (маючи на увазі мало або взагалі не видно вперед).

Фізично «правильний» спосіб зробити це підсумовування зразків. Однак, коли ви додаєте два довільних вибірки, отримане значення може бути вдвічі перевищує максимальне значення.

Наприклад, якщо ваші вибірки мають 16-бітні значення, результат буде до 65536 * 2. Це призводить до відсікання.

Наївне рішення тут - ділити на N, де N - кількість каналів, що змішуються. Однак це призводить до того, що кожен зразок є 1 / Nth таким же гучним, що абсолютно нереально. У реальному світі, коли грають два інструменти одночасно, кожен інструмент не стає наполовину гучнішим.

Зчитавши, загальний метод змішування - це результат = A + B - AB, де A і B - це два змішаних нормалізованих зразка, а AB - термін, який забезпечує більш гучні звуки "м'які".

Однак це вводить спотворення сигналу. Чи прийнятний цей рівень спотворень у високоякісному синтезі звуку?

Які ще методи існують для вирішення цієї проблеми? Мене цікавлять ефективні алгоритми меншої якості, а також менш ефективні високоякісні алгоритми.

Я задаю своє запитання в контексті синтезу цифрової музики з метою змішування декількох інструментальних композицій разом. Доріжки можуть синтезувати звук, попередньо записані зразки або вхід мікрофона в режимі реального часу.

Дуже важко вказати на відповідні методи, не знаючи жодного контексту для вашої проблеми.

Очевидною відповіддю було б сказати вам відрегулювати коефіцієнт посилення кожного зразка, щоб рідко траплялося відсікання. Припустити, що музиканти гратимуть м'якше в ансамблі не так нереально, ніж коли б їх попросили грати сольно.

Перекоси, введені A + B - AB, просто неприйнятні. Це створює дзеркальні зображення A з кожної сторони гармонік B - еквівалентні модуляції кільця - що дуже жахливо, якщо A і B мають багатий спектр гармонік, які не мають цілих співвідношень. Спробуйте, наприклад, на двох квадратних хвилях при частоті 220 і 400 Гц.

Більш "природною" функцією відсікання, яка працює на основі вибірки на зразок, є функція tanh - вона фактично відповідає поведінці м'яких обмежень деяких аналогових елементів. Крім того, ви можете вивчити класичні методи динамічного стиснення - якщо ваша система може заздалегідь заздалегідь побачити піки, це ще краще.

Фізично «правильний» спосіб зробити це підсумовування зразків. Однак, коли ви додаєте два довільних вибірки, отримане значення може бути вдвічі перевищує максимальне значення. ... Наївне рішення тут - ділити на N, де N - кількість каналів, що змішуються.

Це не "наївне" рішення, це єдине рішення. Це робить кожен аналоговий та цифровий мікшер, адже це те, що робить повітря, і це те, що робить ваш мозок.

На жаль, це, як видається, є поширеною помилкою, про що свідчать інші невірні нелінійні алгоритми "змішування" (спотворення):

• Змішування цифрового аудіо (неправильний спосіб)
• Швидка та брудна техніка змішування зразків аудіо, щоб уникнути відсікання (не робіть цього)

"Розділення на N" називається прогоном ; додатковий простір для піків, що виділяється вище рівня RMS у формі хвилі. Обсяг заголовка, необхідний для сигналу, визначається коефіцієнтом гребеня сигналу . (Нерозуміння рівнів цифрового сигналу та зал, ймовірно, частково винен у війні " Голос" та " Елефанк" .)

В аналоговому обладнанні запас може бути 20 дБ. У апаратному DSP часто використовують фіксовану точку з нерухомим заголовком; Наприклад, SigmaDSP AD має 24 дБ заголовка . У комп'ютерному програмному забезпеченні обробка звуку зазвичай виконується в 32-бітовій плаваючій точці, тому запас простору величезний.

В ідеалі вам взагалі не потрібно ділити на N, ви просто зведете сигнали разом, тому що ваші сигнали не генеруються в першу чергу при 0 dBFS.

Зверніть увагу, що більшість сигналів взагалі не співвідносяться один з одним, тому рідко всі канали змішувача конструктивно втручаються в один і той же момент. Так, змішування 10 однакових фазових синусоїд збільшить піковий рівень у 10 разів (20 дБ), але змішування 10 некогерентних джерел шуму лише підвищить піковий рівень у 3,2 рази (10 дБ). Для реальних сигналів значення буде між цими крайностями.

Для того, щоб вивести змішаний сигнал з ЦАП без відсікання, ви просто зменшите коефіцієнт посилення суміші. Якщо ви хочете, щоб рівень RMS суміші був високим без жорсткого відсікання, вам потрібно застосувати певний тип стиснення для обмеження піків форми хвилі, але це не є частиною змішування, це окремий крок. Спочатку ви змішуєтесь з великою кількістю запасів, а потім, якщо бажаєте, згодом ставите її за допомогою стиснення динамічного діапазону.

формула

$AB = A*B$

$g\le 1$

$g = 0.5$$g = 1/\sqrt{2}$

$g$

$g[i]$$A$$B$$g$$\text{result}$

Можливо, це:

ОНОВЛЕННЯ: Як запропонував hotpaw2, ви можете затримати вхідний сигнал, але не придушення посилення. Це називається "обмежувачем вперед".

Один із способів це можна зробити для змішування в режимі реального часу, щоб використовувати AGC з випередженням, коли коефіцієнт посилення одного або обох каналів знижується зі складно сприйнятливою швидкістю, перш ніж амплітуда суми перевищує межу відсікання. Чим менше доступний погляд вперед, чи регулювання посилення AGC стане чутнішим, або максимальний коефіцієнт посилення для більш м’якої рампи регулювання посилення наблизиться до 0,5 на канал на межі. Для джерел звуку, що мають певну передбачуваність, можна також використовувати статистику щодо поведінки конверта з часом, щоб адаптивно вгадати межу посилення, але з певною вірогідністю виходу з ладу (що було б різким коригуванням посилення AGC).

Я спілкувався з дизайнером мікшерів кінця 1990-х та перших 2000-х, що йшов на цифровій хвилі (після того, як на пальцях). Я думаю, що хлопець був дизайнером для SPL, але, можливо, не такий великий, я абсолютно не пам'ятаю ні назви, ні марки, я просто пам’ятаю, наскільки насправді велика і дорога машина.

Ми говорили довго і, нарешті, розповіли про методи, які дійсно гарантують, що їхні канали 64/128 @ 24 біт, змішані разом, залишаються 24-бітовим точно змішаним вихідним каналом без відсікання.

Техніка, яку він пояснив, була досить простою. 64 канали (на 24 біти) були додані в канал 48 біт, де відсікання не може відбутися. Прямо.

Я не можу сказати, як цей сигнал тоді був пошкоджений 48 назад від 24 біт. Можливо, саме тут застосовуються хитрі кухонні рецепти.

І, можливо, існує маса методів, щоб досягти цього, перш за все, різного, чи в реальному часі, або з усім сигналом, записаним на високих піках, просто визначити ... всілякі нормалізації, які я думаю, думаю.

Знизити глобальний обсяг. Імпульсний трекер класично виводить канали приблизно за 33% максимуму за замовчуванням.

Це, здається, є достатньо гучним для музики з кількома каналами (4-канальний Amiga MOD) і досить м'яким для пісень з 50 каналами (оскільки вміст каналу, як правило, не співвідноситься, тому гучність не збільшує швидкість за певний рівень ... плюс кілька каналів будуть виводитись на максимум гучності з тим, що відбувається багато). Це також залишає достатньо місця для загострень ліворуч або жорстко праворуч на панорамних каналах (які використовують 66% діапазону).

Крім того, ви не хочете додавати свої канали разом у 16 ​​біт, ви хочете додати їх у 32 біти, а потім вирізати результат та зменшити до 16 біт у самому кінці. Вам знадобиться більш високий діапазон, щоб він не загортався під час математики. Іншим варіантом є використання 32-бітової плаваючої точки (що зручно робити фільтри, ефекти тощо).

Я думаю, що ключовим є те, що якщо у вас 16 бітних значень і додавання 2 значень разом, що потенційно може бути більше максимального значення, то у вас є 2 варіанти:

1) передайте обидва на 32-бітне додавання, потім поверніть максимальне значення, якщо додавання перевищує це значення. Потім поверніть його на 16 біт. Наприклад, якщо ваші значення 32768 і 34567, це перевищує 65535, а ключ - повернути 65535. Ви б зробили те саме, якщо використовували підписані значення в кінці мінімального значення.

2) стисніть обидва значення, а потім додайте їх разом.

Перший по суті є жорстким відсіканням, другий - м'яким відсіканням. Аналогові системи - все жорстке відсікання.

Вони будуть вдвічі більше місця, якщо частоти обох треків займають однакову частоту простору. Використовуйте еквіваленти та стиснення, щоб обійти це, вирізавши ділянки частотного спектру для кожного звуку та контролюючи перехідні та супутні звуки, щоб все вискакувало там, де слід. Можливо, це не відповідає на питання. Ви можете затримати сигнали нижчої частоти до 2 мс. Він не скасується через фазу, оскільки довжина хвилі перевищує більш високі частоти, і це додасть простору, оскільки перехідні процеси не повністю встигають із силовими басовими сигналами. Щось лінійно додаючи більше затримки, менший сигнал було б цікаво перевірити.

A + B + {
    (|A| = A) = (|B| = B) = true: -AB;
    (|A| = A) = (|B| = B) = false: AB;
    else: 0
}

Тобто, якщо і А, і В розділяють знак, застосуйте обмежуючий зсув. Величина зміщення - добуток A і B. Напрямок зміщення протилежний напрямку A і B.

Якщо A і B не поділяють знак, не застосовується обмеження, оскільки немає способу переповнення.

Моя пропозиція:

1. Перетворити аудіо формат треку з 16-бітної фіксованої точки в 32-бітну плаваючу точку.
2. Додайте поточне значення вибірки для всіх композицій, які потрібно змішати.
3. Не робіть нічого іншого.

Користувач, можливо, бажає обробити цей змішаний потік стисненням та / або обмеженням до збивання та перетворення до 16-бітового формату з фіксованою точкою (якщо припустити, що це перетворення ... змішування для передачі інженерам-майстрам зазвичай залишається у форматі з більшою роздільною здатністю)