Чи може значення коефіцієнта взаємної інформації бути більше 1

У мене дуже базові сумніви. Вибачте, якщо це мало кого дратує. Я знаю, що значення Взаємної Інформації повинно бути більше 0, але чи повинно бути менше 1? Чи обмежує це якесь верхнє значення?

Спасибі, Аміт.

information-theory mutual-information

— Аміт
джерело

Так, вона має верхню межу, але не 1.

Взаємної інформації (в бітах) є 1 , коли дві сторони (статистично) частка один біт інформації. Однак вони можуть ділитися довільно великими даними. Зокрема, якщо вони ділять 2 біти, то це 2.

Взаємна інформація обмежена зверху ентропією Шеннона щодо розподілу ймовірностей для окремих сторін, тобто . $I(X,Y) \leq \min \left[ H(X), H(Y) \right]$

— Пьотр Мігдал
джерело

Якщо дві сторони є бінарними змінними, тобто кожна має лише два можливі результати {0,1} , то ентропії max виходять при коли і . Таким чином, максимальна взаємна інформація для двох двійкових змінних -

X, Y

$X,Y$

H (X), H (Y)

$H(X), H(Y)$

1

$1$

P (X) = 0.5

$P(X)=0.5$

P (Y) = 0.5

$P(Y)=0.5$

1

$1$

— Акселі Пален