Взаємозв'язок між ентропією та SNR

Взагалі будь-яка форма енропії визначається як невизначеність або випадковість. У шумному середовищі зі збільшенням шуму я вважаю, що ентропія зростає, оскільки ми не впевнені в інформаційному вмісті потрібного сигналу. Який взаємозв'язок між ентропією та СНР? Зі збільшенням коефіцієнта сигналу до шуму потужність шуму зменшується, але це не означає, що інформаційний вміст сигналу збільшується !! Зміст інформації може залишатися однаковим, тож чи означає це, що ентропія не впливає?

— Ria George
джерело

Коли ви говорите, що "вміст інформації може залишатися колишнім", ви маєте на увазі інформацію в загальному сигналі чи інформацію потрібного сигналу? Сподіваємось, це відповість на обидва випадки. Я знаю, що ентропія Шеннона набагато краще, ніж Колмогоров, тому я використаю це, але, сподіваюся, логіка перекладе.

Припустимо, , Ваш сумарний сигнал ( ), складається з суми Вашого корисного сигналу і шуму вашого компонента . Назвіть ентропія . Як ви вже говорили, шум додає ентропії до системи, збільшуючи її складність. Однак це не обов'язково лише тому, що ми більш невпевнені в інформаційному вмісті сигналу, а тому, що в цілому сигнал більше невизначений. Якщо SNR типу вимірює, наскільки ми впевнені, що таке , то вид заходів, наскільки добре ми можемо передбачити майбутні стани на основі поточного стану $X = S + N$ $X$ $S$ $N$ $H$ $S$ $H(X)$ $X$ $X$ . Ентропія стосується того, наскільки складний весь сигнал, незалежно від складу шуму проти нешуму.

Якщо ви збільшуєте SNR, видаляючи шум (ослаблення ), ви зменшуєте загальну складність сигналу і, таким чином, його ентропію. Ви не втратили інформацію , передану на , тільки (імовірно безглуздих) інформації , яку несе . Якщо - випадковий шум, то, очевидно, він не несе змістовної інформації, але для опису стану потрібен певний обсяг інформації , який визначається кількістю станів, в яких може перебувати N, та ймовірністю того, що він знаходиться в кожен із цих штатів. Це ентропія. $N$ $X$ $S$ $N$ $N$ $N$

Ми можемо розглянути два розподіли Гаусса з різними відхиленнями, скажімо, один має дисперсію а другий - дисперсію . Тільки дивлячись на рівняння розподілу Гаусса, ми бачимо, що розподіл має максимальну ймовірність, що є лише -м значенням distr. І навпаки, це означає, що є більша ймовірність того, що distr прийме значення, відмінні від середнього, або що є більше впевненості, що розподіл прийме значення поблизу середнього. Отже, розподіл має меншу ентропію, ніж $1$ $100$ $Var=100$ $\frac {1} {10}$ $var=1$ $Var=100$ $Var=1$ $Var=1$ $Var=100$ розповсюдження.

Ми встановили, що більша дисперсія означає більш високу ентропію. Дивлячись на поширення помилок, також вірно, що (рівний незалежному , ). Якщо , то для ентропії , . Оскільки (опосередковано) є функцією дисперсії, ми можемо трохи змінити речі, щоб сказати . Для спрощення ми говоримо, що і незалежні, тому . Покращений SNR часто означає послаблення шумової потужності. Цей новий сигнал з більш високим SNR буде тоді , для $Var(X+Y) >= Var(X) + Var(Y)$ $X$ $Y$ $X = S + N$ $H$ $H(X) = H(S+N)$ $H$ $H(Var[X]) = H(Var[S+N])$ $S$ $N$ $H(Var[X]) = H(Var[S] + Var[N])$ $X = S + (\frac {1} {k})N$ $k>1$ . Потім ентропія стає . більший за , тому зменшиться, коли N ослаблено. Якщо зменшується, то і , а отже, , призводить до зменшення . $H(Var[X]) = H(Var[S] + (1/k)^2*Var[N])$ $k$ $1$ $Var[N]$ $Var[N]$ $Var[S+N]$ $Var[X]$ $H(X)$

Не дуже стисло, вибачте. Коротше кажучи, «s ентропія зменшується при збільшенні SNR, але ви нічого не зробили для » s інформації. Зараз я не можу знайти джерела, але існує метод обчислення SNR та взаємної інформації (двовимірний показник, подібний ентропії) один до одного. Можливо, головним чином є те, що SNR та ентропія не вимірюють одне і те ж. $X$ $S$

— dpbont
джерело

Дякую за деталі, було б справді чудово, якби там було посилання на маленький аналіз бітофу, який ви робили, оскільки мені потрібно надати цю взаємозв'язок між ентропією та SNR у статті та, отже, цитуванням.

— Ria George

Мій аналіз досить неформальний; вона занадто багато покладається на інтуїцію / логіку, щоб вимагати будь-якої жорсткості. Слабкою точкою, яку я відразу бачу, є твердження, що збільшений показник SNR рівнозначний зменшенню загальної дисперсії. Це твердження справедливо, якщо ви збільшуєте SNR шляхом ослаблення шуму, але не обов'язково, якщо збільшуєте потужність сигналу (тому що це може збільшити дисперсію сигналу ==> загальна дисперсія ==> ентропія). Хоча є й інший спосіб дійти цього висновку. Я думаю, що стосунки між ІМ та СНР виникли в Schloegl 2010 "Адаптаційні методи в дослідженні BCI - вступний підручник"

— dpbont

: Вибачте, що знову запустіть цю тему в продовження. Я зіткнувся з проблемою, коли знаходив помилку ентропії моделі, де похибка = бажаний_сигнал - оцінено_сигнал. Збільшуючи SNR, я виявив, що ентропія помилки зростає. Але, коли я обчислюю ентропію потрібного сигналу

із збільшенням SNR, то ентропія X зменшується. Чи можете ви, будь ласка, кинути деякі відомості про колишній випадок, коли ентропія помилки зростає зі збільшенням SNR?

X

$X$

— Ria George

Два питання. 1) Коли ви кажете, що SNR збільшується, ви маєте на увазі SNR оцінюваного сигналу? (Я так вважаю.) 2) Що станеться з вашою помилкою, коли ентропія помилки зростає? Взагалі кажучи, збільшення ентропії або означає збільшення дисперсії / зменшення прогнозованості. Можливо, я можу передбачити ситуацію, коли ваша дисперсія помилок збільшується, але ви видаляєте зміщення помилок (що може збільшити ентропію помилок, але зменшити помилку).

— dpbont

X = S + N

$X=S+N$

N

$N$

z (t) = X (t) - (a 1 X (t - 1) + b 1 X (t - 2))

$z(t) = X(t) - (a1X(t-1) + b1X(t-2))$

X (t)

$X(t)$

N

$N$

Ось цитата з того, [1, p. 186]щоб розпочати вас, ОП чи Googler:

$\mathcal{H} \approx \text{(number of active components in data)} \times \log \text{SNR}$

$\mathcal{H}$

[1] D. Sivia and J. Skilling, Data analysis: a Bayesian tutorial. OUP Oxford, 2006

— ялівець
джерело