Яка статистика використовується для визначення наявності сигналу в шумі?


12

Я вважаю, що це проблема детектора:

Мене заважає те, що видається простою проблемою. В основному у мене є група інтересів. Якщо енергії сигналу існують в цій діапазоні, що цікавить, я виконую операцію X над своїм сигналом.

Моя проблема полягає в тому, що я не впевнений, як саме робити "рішення", існує сигнал чи ні. У тому випадку, коли я виконую FFT, я можу шукати піки.

Але тепер що?

  • Чи застосовується статистика зазвичай порівнює цей пік із навколишнім середнім спектром? Або це якась інша статистика?
  • Який статистичний захід я використовую, щоб просто визначити, чи є сигнал, і перейти звідти?
  • Як встановити це значення? Просте порогове значення?

EDIT На основі відгуків:

У цьому простому випадку я припускаю тон, в білому гауссовому шумі. Що я намагаюся впоратися, це:

  1. Як саме генерується крива ROC . Є чи один має піти і маркувати всі дані першими, а потім отримати істинно-позитивні і хибно-позитивні ставки для безлічі порогів?

  2. Як зменшення SNR впливає на криву ROC? Перенести його в бік діагоналі?

  3. Що робить адаптивне утримання для заданої кривої ROC, яка в іншому випадку генерувалася без адаптивного порогу?

    3а. Які загальні методи адаптивного порогового рівня, на які я можу розглянути, є загальними?


Ви хочете пакетний (офлайн) алгоритм або послідовний (онлайн)? Чи є у вас статистика шуму та сигналу (тобто чи можете ви охарактеризувати коефіцієнт ймовірності)? Якщо так, ви спробували використовувати SPRT ?
Емре

@Emre Це може бути офлайн. Я не дуже впевнений, що ви маєте на увазі під статистикою сигнал / шум, у мене є датчик, який вимірюватиме сигнал (тон) при наявності шуму, і його SNR може змінюватися ...
Spacey

Він означає: які статистичні властивості шуму та сигналу? Чи знаєте ви розподіл шуму? А як щодо розподілу сигналу плюс шуму?
Джейсон R

@JasonR Я бачу. Ну, сигнал буде тональним, а шум - гауссовим. Я щось пропускаю?
Спейси

Можливо. Білий Гаусс? Справа в тому, що для того, щоб проаналізувати це теоретично, потрібно взяти на себе певну модель вірогідності шуму і сигналу плюс шум. Виходячи з цієї відповіді, ви можете це зробити.
Джейсон R

Відповіді:


9

Це одна з найдавніших проблем з обробкою сигналу, і, ймовірно, зустрінеться проста форма у вступі до теорії виявлення. Існують теоретичні та практичні підходи до вирішення такої проблеми, які можуть або не перетинатись залежно від конкретного застосування.

Пг Пfа

ПгПfаПг=1Пfа=0і називати це день. Як ви також можете очікувати, це не так просто. Між двома показниками існує властивий компроміс; як правило, якщо ви робите щось, що покращує одне, ви спостерігатимете деяку деградацію в іншій.

Простий приклад: якщо ви шукаєте наявність імпульсу на тлі шуму, ви можете вирішити встановити поріг десь вище "типового" рівня шуму і вирішити вказати наявність сигналу, що цікавить, якщо ваша статистика виявлення порушується понад поріг. Хочете дійсно низька ймовірність помилкової тривоги? Встановіть поріг високим. Але тоді ймовірність виявлення може значно зменшитися, якщо підвищений поріг буде на рівні або вище очікуваного рівня потужності сигналу!

ПгПfа

введіть тут опис зображення

Ідеальний детектор мав би криву ROC, яка обіймає верхню частину ділянки; тобто це може забезпечити гарантоване виявлення будь-якої помилкової частоти тривоги. Насправді детектор матиме характеристику, схожу на ті, що намічені вище; збільшення ймовірності виявлення також підвищить помилковий показник тривоги, і навпаки.

Таким чином, з теоретичної точки зору ці типи проблем зводиться до вибору деякого балансу між продуктивністю виявлення та імовірністю помилкової тривоги. Як математичний опис цього балансу залежить від вашої статистичної моделі для випадкового процесу, який спостерігає детектор. Зазвичай модель має два стани або гіпотези:

Н0:жодного сигналу немає
Н1:сигнал присутній

Як правило, статистика, яку спостерігає детектор, мала б один з двох розподілів, згідно з якими гіпотеза правдива. Потім детектор застосовує певний тест, який використовується для визначення справжньої гіпотези, а отже, присутній чи ні сигнал. Розподіл статистики виявлення є функцією сигнальної моделі, яку ви обираєте як відповідну для вашої програми.

Поширеними моделями сигналів є виявлення сигналу, модульованого амплітудно-імпульсною сигналом на тлі адитивного білого гауссового шуму (AWGN) . Хоча цей опис дещо характерний для цифрових комунікацій, багато проблем можуть бути відображені в тій чи іншій моделі. Зокрема, якщо ви шукаєте тон з постійною оцінкою, локалізований у часі на тлі AWGN, і детектор спостерігає за величиною сигналу, ця статистика матиме розподіл Релея, якщо немає тону, і розподіл Рікана, якщо такий присутній.

Після розробки статистичної моделі слід визначити правило рішення детектора. Це може бути настільки складно, як ви хочете, виходячи з того, що має сенс для вашої заявки. В ідеалі, ви хочете прийняти рішення, яке є оптимальним у певному сенсі, виходячи з ваших знань про розподіл статистики виявлення за обома гіпотезами, ймовірність того, що кожна гіпотеза є правдивою, і відносну вартість помилки щодо будь-якої гіпотези ( про яку я трохи розповім). Баєсівська теорія рішень може бути використана як основа для підходу до цього аспекту проблеми з теоретичної точки зору.

ТТ(т)т

ТТ=5Пг=0,9999Пfа=0,01

Де ви врешті-решт вирішите сісти на криву продуктивності, залежить від вас, і це важливий параметр дизайну. Вибір правильної точки ефективності залежить від відносної вартості двох типів можливих збоїв: чи гірше ваш детектор пропустити появу сигналу, коли це відбувається, або зареєструвати виникнення сигналу, коли цього не сталося? Приклад: фіктивний детектор балістичної ракети-автоматичного удару з можливістю автоматичного відстрілу найкраще подаватиметься з помилковою швидкістю тривоги; розпочати світову війну через хибне виявлення було б прикро. Прикладом зворотної ситуації може бути приймач зв'язку, який використовується для програм безпеки. якщо ви хочете мати максимальну впевненість у тому, що він не отримає жодних повідомлень про лихо,


Дякую JasonR, дуже приємний пост. Я все ще перетравлюю вашу посаду, проте одне питання приходить на думку. Як саме формується ця крива ROC? Я розумію, що вимірюю істинно-позитивну та хибнопозитивну ставку для будь-якого класифікатора, і це означає одну точку кривої ROC. Отже, що змінюється таким чином, що я отримую багато очок, щоб я міг генерувати криву для будь-якого одного класифікатора?
Спейсі

1
ПгПfа

1

Статистика є коефіцієнтом ймовірності (LR), а тест - порівнянням LR з пороговим рівнем. Якщо ви будете слідувати традиціям розміщення ймовірності нульової гіпотези в знаменнику, ви вирішили на користь альтернативної гіпотези ( проти з нульовою гіпотезою ) , якщо LR досить високий. Чим вище коефіцієнт, тим більша ваша впевненість. Це тест, який ви б провели, якщо вже зібрали дані. Якщо ви хочете визначитися, коли дані надходять на шматок, ви можете скористатися послідовним тестом , наприклад SPRT .

На цьому етапі ви можете скористатися книгою про тестування гіпотез або теорії рішення (більш загальну).

Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.