Взаємна інформація як вірогідність

Чи може взаємна інформація про спільну ентропію:

0 \leq \frac{I (X, Y)}{H (X, Y)} \leq 1

$0 \leq \frac{I(X,Y)}{H(X,Y)} \leq 1$

визначати як: "Ймовірність передачі частини інформації від X до Y"?

Мені шкода, що я був таким наївним, але я ніколи не вивчав теорію інформації, і намагаюся просто зрозуміти деякі поняття цього.

information-theory mutual-information

— luca maggi
джерело

Ласкаво просимо в CV, luca maggi! Яке чудове перше запитання!

— Олексій

Відповіді:

Захід, який ви описуєте, називається коефіцієнтом якості інформації [IQR] (Wijaya, Sarno and Zulaika, 2017). IQR - це взаємна інформація $I(X,Y)$ поділена на "повну невизначеність" (спільна ентропія) $H(X,Y)$ (джерело зображення: Wijaya, Sarno and Zulaika, 2017).

Як описано Wijaya, Sarno та Zulaika (2017),

діапазон IQR становить $[0,1]$ . Найбільше значення (IQR = 1) можна досягти, якщо DWT може ідеально реконструювати сигнал без втрати інформації. В іншому випадку найнижче значення (IQR = 0) означає, що MWT не сумісний з вихідним сигналом. Іншими словами, реконструйований сигнал із конкретним MWT не може зберігати істотну інформацію та абсолютно відрізняється від оригінальних характеристик сигналу.

Ви можете інтерпретувати це як ймовірність того, що сигнал буде ідеально реконструйований без втрати інформації . Зауважте, що така інтерпретація наближається до суб'єктивістської інтерпретації ймовірності , потім до традиційної, частістської інтерпретації.

Це ймовірність бінарної події (реконструкція інформації проти ні), де IQR = 1 означає, що ми вважаємо, що реконструйована інформація є достовірною, а IQR = 0 означає, що навпаки. Він поділяє всі властивості для ймовірності бінарних подій. Більше того, ентропії поділяють ряд інших властивостей з ймовірністю (наприклад, визначення умовних ентропій, незалежність тощо). Таким чином, це виглядає як вірогідність і хитається, як це.

Wijaya, DR, Sarno, R., & Zulaika, E. (2017). Коефіцієнт якості інформації як нова метрика для вибору материнської вейвлет. Хімометрія та інтелектуальні лабораторні системи, 160, 59-71.

— Тім
джерело

A \subset Ω

$A\subset\Omega$

I (X^{'}, Y^{'})

$I(X',Y')$

H (X^{'}, Y^{'})

$H(X',Y')$

X^{'} := X I (A), Y^{'} := Y I (A)

$X':=XI(A),\, Y':=YI(A)$

I

$I$

Ну, моє запитання спрямоване на частину вашої відповіді, а не на окреме питання. Ви пропонуєте мені відкрити нове запитання та зв’язати його та направити на вашу відповідь?

— Ганс

I (X, Y)

$I(X, Y)$

H (X, Y)

$H(X, Y)$

(Ω, F)

$(\Omega, \mathscr{F})$

X

$X$

Y

$Y$

X

$X$

Y

$Y$

@Hans Я прямо заявив, що це відповідає аксіомам, але важко сказати ймовірність того, що саме це буде. Я запропонував інтерпретацію, ймовірно, відновлює сигнал. Це не розподіл ймовірностей X чи Y. Я думаю, ви могли б заглибитись у його тлумачення та розуміння. Питання полягало у тому, чи можна це трактувати як вірогідність, а формально відповідь - це так.

— Тім

$(\Omega,\mathscr F,P,X,Y)$ $\Theta:=(\Omega,\mathscr F,P,X,Y)$ $\tilde\Omega$ $\Theta$ $\tilde\Omega$ $\text{IQR}(\Omega,\mathscr F,P,X,Y)$

$[0,1]$ $\Theta$ $\tilde\Omega:=\{a,b\}$ $\tilde{\mathscr F}:=2^{\tilde\Omega}$ $\tilde P(a):=\text{IQR}(\Theta)$ $\Theta$

— Ганс
джерело

(x_{i}, y_{i})

$(x_i, y_i)$

Θ := (Ω, F, P, X, Y)

$\Theta:=(\Omega,\mathscr F,P,X,Y)$

Це теж випадок, якщо ви використовуєте складну нейронну мережу з функцією активації сигмоїдів в кінці, чи можете ви довести, що вихід є ймовірним у метрико-теоретичному відношенні? .. Тим не менш, ми часто вибираємо трактувати це як вірогідність.

— Тім

[0, 1]

$[0,1]$

A

$A$

P (A) := μ (f (A))

$P(A):=\mu(f(A))$

μ

$\mu$

R

$R$

f

$f$

Вибачте, але я ніколи не вважав такого роду дискусії та теорії мір цікавими, тому я відступлю від подальшої дискусії. Я також не бачу вашої думки тут, тим більше, що ваш останній абзац, здається, говорить саме те саме, що я говорив із самого жебракування.

— Тім