Що таке емпірична ентропія?

У визначенні спільно типових множин (у "Елементах теорії інформації", гл. 7.6, стор. 195) ми використовуємо

- \frac{1}{н} журнал p (х^{н})

$-\frac{1}{n} \log{p(x^n)}$ в якості емпіричної ентропії як -sequence з . Я ніколи раніше не стикався з цією термінологією. Це не визначено явно ніде відповідно до покажчика книги.

n

$n$

p (x^{n}) = \prod_{i = 1}^{n} p (x_{i})

$p(x^n) = \prod_{i=1}^{n}{p(x_i)}$

Моє запитання в основному таке: Чому емпірична ентропія не де - емпіричний розподіл? $-\sum_{x}{\hat p (x) \log(\hat p(x))}$ $\hat p(x)$

Які найцікавіші відмінності та схожість між цими двома формулами? (за властивостями вони діляться / не діляться).

information-theory entropy

— підстрибувати
джерело

Чи не два алгебраїчно вираження?

— whuber

@whuber: Ні, я вважаю, це різні кількості, з різною метою. Зауважимо, що перший використовує істинну міру прийняту відому апріорі. Другий - ні.

p

$p$

— кардинал

Перша стосується накопичення ентропії з часом і порівняння її з справжньою ентропією системи. SLLN та CLT багато розповідають про те, як він поводиться. Другий стосується оцінки ентропії за даними, а деякі її властивості також можна отримати за допомогою цих же двох згаданих інструментів. Але, хоча перше є неупередженим, друге не підпадає під будь-яку . Я можу заповнити деякі деталі, якщо це буде корисно.

p

$p$

— кардинал

@cardinal: Якщо ви надасте вищезазначений коментар як відповідь (можливо, також поясніть, що таке SLLN та CLT? - я не знаю таких), я б із задоволенням подав заяву ...

— blubb

Гаразд, я спробую опублікувати більше пізніше. Тим часом, SLLN = "Сильний закон великих чисел" і CLT = "Центральна гранична теорема". Це досить стандартні абревіатури, з якими ви, швидше за все, знову зустрінетесь. Ура. :)

— кардинал

Відповіді:

Якщо дані , тобто, -послідовність з зразка простору , емпіричні ймовірності точкових $x^n = x_1 \ldots x_n$ $n$ $\mathcal{X}$ для. Тут- один, якщоа в іншому випадку нуль. Те є відносна частотав спостережуваної послідовності. Ентропіїрозподілу ймовірностей даного емпіричними точкових ймовірності

\hat{p} (х) = \frac{1}{н} | {i ∣ х_{i} = х} | = \frac{1}{н} \sum_{i = 1}^{н} δ_{х} (х_{i})

$\hat{p}(x) = \frac{1}{n}|\{ i \mid x_i = x\}| = \frac{1}{n} \sum_{i=1}^n \delta_x(x_i)$

x \in X

$x \in \mathcal{X}$

δ_{x} (x_{i})

$\delta_x(x_i)$

x_{i} = x

$x_i = x$

\hat{p} (x)

$\hat{p}(x)$

x

$x$

Остання рівність слід перестановкою дві суми і з огляду нащо

З цього ми бачимощо

Н (\hat{p}) = - \sum_{х \in Х} \hat{p} (х) журнал \hat{p} (х) = - \sum_{х \in Х} \frac{1}{н} \sum_{i = 1}^{н} δ_{х} (х_{i}) журнал \hat{p} (х) = - \frac{1}{н} \sum_{i = 1}^{н} журнал \hat{p} (х_{i}) .

$H(\hat{p}) = - \sum_{x \in \mathcal{X}} \hat{p}(x) \log \hat{p}(x) = - \sum_{x \in \mathcal{X}} \frac{1}{n} \sum_{i=1}^n \delta_x(x_i) \log \hat{p}(x) = -\frac{1}{n} \sum_{i=1}^n \log\hat{p}(x_i).$

\sum_{х \in Х} δ_{х} (х_{i}) журнал \hat{p} (х) = журнал \hat{p} (х_{i}) .

$\sum_{x \in \mathcal{X}} \delta_x(x_i) \log\hat{p}(x) = \log\hat{p}(x_i).$

івикористанням термінології від питання це емпірична ентропіяемпіричного розподілу ймовірностей. Як зазначив @cardinal у коментарі,

Н (\hat{p}) = - \frac{1}{н} журнал \hat{p} (х^{н})

$H(\hat{p}) = - \frac{1}{n} \log \hat{p}(x^n)$

\hat{p} (x^{n}) = \prod_{i = 1}^{n} \hat{p} (x_{i})

$\hat{p}(x^n) = \prod_{i=1}^n \hat{p}(x_i)$

- емпірична ентропія заданого розподілу ймовірностей з точковими ймовірностями

- \frac{1}{n} \log p (x^{n})

$- \frac{1}{n} \log p(x^n)$

p

$p$

— NRH
джерело

(+1) Це чудово ілюструє те, що Cover і Thomas називають "дивним самореференційним характером" ентропії. Однак я не впевнений, що відповідь насправді стосується (безпосередньо) очевидних проблем ОП. :)

— кардинал

@cardinal, я знаю, і відповідь був лише довгим коментарем, щоб зробити цей конкретний пункт. Я не хотів повторювати ваші пункти.

— NRH

Ви не повинні почувати себе погано чи не соромтесь розміщувати власну відповідь, включаючи розширення моїх коментарів чи коментарів інших. Я особливо повільно і погано розміщую відповіді, і ніколи не ображатимусь, якщо ви чи інші люди публікують відповіді, що містять аспекти речей, про які я, можливо, раніше коротко прокоментував. Насправді навпаки. Ура.

— кардинал

Ентропія визначається для розподілу ймовірностей. Коли у вас немає одного, а лише даних, і підключаєте наївний оцінювач розподілу ймовірностей, ви отримуєте емпіричну ентропію. Це найпростіше для дискретних (мультиноміальних) розподілів, як це показано в іншій відповіді, але це також можна зробити для інших розподілів бінінгу тощо.

Проблема емпіричної ентропії полягає в тому, що вона є необ'єктивною для малих проб. Наївна оцінка розподілу ймовірностей показує додаткові зміни через шум вибірки. Звичайно, можна використовувати кращий оцінювач, наприклад, підходящий до мультиноміальних параметрів, але отримати його по-справжньому неупереджено непросто.

Сказане також стосується умовних розподілів. Крім того, все стосується бінінгу (або кернелізації), тому ви насправді маєте своєрідну диференціальну ентропію.

— сценар
джерело

Ми повинні бути обережними з тим, що ми тут маємо на увазі як емпіричну ентропію . Зауважте, що оцінювач плагінів завжди є упередженим низьким для всіх розмірів вибірки, хоча зміщення зменшиться зі збільшенням розміру вибірки. Отримати непідвладні оцінювачі ентропії не тільки важко , а й загалом неможливо . Протягом останніх кількох років в цій галузі проводилися досить інтенсивні дослідження, особливо в літературі з нейронауки. Насправді існує багато негативних результатів.

— кардинал