Оцініть ентропію інформації за допомогою вибірки в Монте-Карло

10

Я шукаю методи, які дозволяють оцінити інформаційну ентропію розподілу, коли єдиними практичними способами вибірки з цього розподілу є методи Монте-Карло.

Моя проблема не на відміну від стандартної моделі Ізінга, яка зазвичай використовується як вступний приклад для вибірки Metropolis – Гастінгса. У мене є розподіл ймовірностей безлічі , тобто у мене є для кожного . Елементи мають комбінаторний характер, як і штати Ізінг, і їх дуже велика кількість. Це означає, що на практиці я ніколи не отримую один і той же зразок двічі під час вибірки з цього розподілу на комп'ютері. не можна безпосередньо обчислити (через незнання коефіцієнта нормалізації), але відношення легко обчислити. $A$ $p(a)$ $a \in A$ $a \in A$ $p(a)$ $p(a_1)/p(a_2)$

Я хочу оцінити інформаційну ентропію цього розподілу,

S = - \sum_{a \in A} p (a) \ln p (a) .

$S = -\sum_{a \in A} p(a) \ln p(a).$

Крім того, я хочу оцінити різницю ентропії між цим розподілом та отриманим, обмеживши його підмножиною (і, звичайно, повторно нормалізуючи). $a\in A_1 \subset A$

monte-carlo random-sampling

— Чарльз Уеллс
джерело

3

Якщо я розумію, яку інформацію у вас є, то, що ви хочете, неможливо: наявної у вас інформації недостатньо для визначення ентропії. Навіть недостатньо для наближення ентропії.

Здається, у вас є спосіб вибірки з розподілу , і у вас є спосіб обчислити співвідношення для будь-якої пари елементів яке ви отримали за допомогою вибірки, але у вас немає іншої інформації. Якщо так, то ваша проблема не вирішена. $p(\cdot)$ $p(a_1)/p(a_2)$ $a_1,a_2$

Зокрема, ми можемо знайти пару дистрибутивів, які мають різні ентропії, але їх неможливо розрізнити, використовуючи доступну вам інформацію. Розглянемо спочатку рівномірний розподіл на (випадковий) набір розміром . Далі розглянемо рівномірний розподіл на (випадковий) набір розміром . Вони мають різні ентропії (200 біт проти 300 біт). Однак, з огляду на доступну вам інформацію, ви не можете знати, з яким із цих двох дистрибутивів ви працюєте. Зокрема, в обох випадках співвідношення $2^{200}$ $2^{300}$ $p(a_1)/p(a_2)$ завжди буде рівно 1, тому співвідношення не допоможуть вам розрізнити два розподіли. І завдяки парадоксу дня народження, ви можете взяти вибірку скільки завгодно, але ви ніколи не отримаєте одне і те ж значення двічі (не протягом життя, за винятком експоненціально малої ймовірності), тому значення, отримані від вибірки, будуть виглядати як раз випадкові точки і не містять корисної інформації.

Отже, щоб вирішити свою проблему, вам потрібно знати щось більше. Наприклад, якщо ви знаєте щось про структуру розподілу , це може дати можливість вирішити вашу проблему. $p(\cdot)$

— DW
джерело

p (a)

$p(a)$

p (a) \propto \exp (θ E (a))

$p(a) \propto \exp(\theta E(a))$

E

$E$

a

$a$

θ

$\theta$

1

p (a)

$p(a)$

2

F = ⟨ E ⟩ - T S,

$F = \langle E \rangle - T S,$

⟨ E ⟩

$\langle E \rangle$

T

$T$

θ

$\theta$

p \propto e^{θ E}

$p \propto \mathrm{e}^{\theta E}$

S

$S$

$\Delta F$ $\Delta S$ $\Delta F$ $\Delta \langle E \rangle$ $A_1$ $A$ $E$ $A_1$

Ось дві додаткові посилання на алгоритми обчислення вільної енергії:

Lelièvre, T., Rousset, M., & Stoltz, G. (2010). Безкоштовні обчислення енергії. Imperial College Press. http://doi.org/10.1142/9781848162488

Chipot, C., & Pohorille, A. (2007). Безкоштовні розрахунки енергії. (C. Chipot & A. Pohorille, ред.) (Т. 86). Берлін, Гейдельберг: Спрингер Берлін Гейдельберг. http://doi.org/10.1007/978-3-540-38448-9

— Хуан М. Белло-Рівас
джерело

Чи можете ви надати більше практичних посилань для обчислення вільних різниць енергії? Цей вікі не надто далеко

— Чарльз Уеллс

Зроблено. Я додав ще два посилання та вказав на посилання на бічній панелі вікі.

— Хуан М. Белло-Рівас