Інтуїція про спільну ентропію

У мене виникають проблеми зі створенням інтуїції щодо спільної ентропії. $H(X,Y)$ = невизначеність у спільному розподілі $p(x,y)$; $H(X)$ = невизначеність в $p_x(x)$; $H(Y)$ = невизначеність в $p_y(y)$.

Якщо H (X) високий, то розподіл є більш невизначеним, і якщо ви знаєте результат такого розподілу, то у вас є більше інформації! Отже H (X) також кількісно оцінює інформацію.

Тепер ми можемо показати $H(X,Y) \leq H(X) + H(Y)$

Але якщо ви знаєте $p(x,y)$ ти можеш отримати $p_x(x)$ і $p_y(y)$ так у певному сенсі $p(x,y)$ має більше інформації, ніж обидві $p_x(x)$ і $p_y(y)$, тож чи не повинна невизначеність, пов'язана з p (x, y), бути більшою, ніж сума окремих невизначеностей?

як правило, додаткова інформація ніколи не збільшує ентропію, яка формально зазначається як:

рівність справедлива, якщо $X$ і $Y$ є незалежними, що означає $H(X|Y) = H(X)$.

Цей результат може бути використаний для доведення спільної ентропії $H(X_1, X_2, ..., X_n) \leq \sum_{i=1}^{n} H(X_i)$. Щоб продемонструвати це, розглянемо простий випадок$H(X,Y)$. Відповідно до правила ланцюжка, ми можемо записати ентропію приєднання як нижче

Враховуючи нерівність $*$, $H(X|Y)$ ніколи не збільшує ентропію змінної $X$, і отже $H(X,Y) \leq H(X) + H(Y)$. Використовуючи індукцію, можна узагальнити цей результат у випадках, які включають більше двох змінних.

Сподіваємось, це допомогло зменшити неоднозначність (або вашу ентропію) щодо спільної ентропії!

Існує ще одна точка зору ентропії Шеннона. Уявіть, що ви хочете відгадати через запитання, що таке конкретне значення змінної. Для простоти уявіть, що значення може приймати лише вісім різних значень$\left(0,1,..., 8\right)$, і всі однаково вірогідні.

Найефективніший спосіб - це виконати двійковий пошук. Спочатку ви запитуєте, чи більший він, чи менший від 4. Потім порівняйте його проти 2 або 6 тощо. Загалом вам не знадобиться більше трьох запитань (яка кількість бітів цього конкретного розподілу).

Ми можемо продовжувати аналогію для випадку двох змінних. Якщо вони не є незалежними, знання цінності одного з них допоможе вам краще вгадати (в середньому) наступне питання (це відображається на результатах, зазначених оміді ). Отже, ентропія нижча, якщо вони повністю не залежать, де вам потрібно відгадати їх значення незалежно. Сказати, що ентропія є нижчим, означає (на цьому конкретному прикладі), що вам потрібно в середньому ставити менше запитань (тобто частіше за все ви будете гадати).

Здається, ви думаєте, "якщо більше інформації, коли відомо, то більше ентропії, коли невідомо". Це не правильна інтуїція, оскільки, якщо розподіл невідомий, ми навіть не знаємо його ентропії. Якщо розподіл відомий, то ентропія кількісно визначає кількість інформації, необхідну для опису невизначеності щодо реалізації випадкової величини, яка залишається невідомою (ми знаємо лише структуру, що оточує цю невизначеність, знаючи розподіл). Ентропія не кількісно оцінює інформацію, "присутні" в розподілі. Навпаки: чим більше інформації "включено" в розподіл, тим менше інформації "потрібно" для опису невизначеності, і тим меншеентропія є. Розглянемо рівномірний розподіл: він містить дуже мало інформації, оскільки всі можливі значення змінної є неправдоподібними: отже, вона має максимальну ентропію серед усіх дистрибутивів з обмеженою підтримкою.

Щодо спільної ентропії, ви можете подумати про неї так: спільний розподіл містить інформацію про те, чи залежать дві змінні чи ні, плюс інформація, достатня для отримання граничних розподілів. Граничні розподіли не містять інформації про те, чи залежать дві незалежні змінні чи незалежні. Таким чином, спільний розподіл має більше інформації та дає нам меншу невизначеність щодо випадкових змінних:

Більше інформації включено до дистрибуції $\rightarrow$ менша невизначеність навколо змінних $\rightarrow$ менше інформації, необхідної для опису цієї невизначеності $\rightarrow$ менша ентропія.