Як зробити вибірку з дискретного (категоричного) розподілу в просторі журналу?

12

Припустимо, у мене дискретний розподіл, визначений вектором таким, що категорія буде намальована з вірогідністю тощо. Потім я виявляю, що деякі значення в розподілі настільки малі, що вони переповнюють представлення числа плаваючої крапки мого комп'ютера, тому, щоб компенсувати, я виконую всі свої обчислення в журнальному просторі. Тепер у мене є векторний простору . $\theta_0, \theta_1, ..., \theta_N$ $0$ $\theta_0$ $log(\theta_0), log(\theta_1), ..., log(\theta_N)$

Чи можливо вибірку з розподілу таким чином, щоб початкові ймовірності мали місце (категорія намальована з ймовірністю ), але не залишаючи місця журналу? Іншими словами, як зробити вибірку з цього розподілу без підтоків? $i$ $\theta_i$

random-generation

— Джош Хансен
джерело

15

Можна вибирати з категоричного розподілу задані ймовірності журналу, не залишаючи простору журналу за допомогою трюку Gumbel-max . Ідея полягає в тому, що якщо вам надаються ненормалізовані ймовірності журналу , які можна перевести на належні ймовірності за допомогою функції softmax $\alpha_1,\dots,\alpha_k$

p_{i} = \frac{\exp (α_{i})}{\sum_{j} \exp (α_{j})}

$p_i = \frac{\exp(\alpha_i)}{\sum_j \exp(\alpha_j)}$

то для вибірки з такого розподілу можна використовувати той факт, що якщо є незалежними вибірками, взяті зі стандартного розподілу Gumbel, параметризованого місцем , $g_1,\dots,g_k \sim \mathcal{G}(0)$ $m$

F (G \leq g) = \exp (- \exp (- g + m))

$F(G \le g) = \exp(-\exp(-g+m))$

тоді можна показати (див. посилання нижче), що

\begin{aligned} \underset{i}{a r g m a x} {g_{i} + α_{i}} & \sim \frac{\exp (α_{i})}{\sum_{j} \exp (α_{j})} \\ max_{i} {g_{i} + α_{i}} & \sim G (\log \sum_{i} \exp {α_{i}}) \end{aligned}

$\DeclareMathOperator*{\argmax}{arg\,max} \begin{align} \argmax_i \,\{\, g_i + \alpha_i \,\} &\sim \frac{\exp(\alpha_i)}{\sum_j \exp(\alpha_j)} \\ \max_i\,\{\, g_i + \alpha_i \,\} &\sim \mathcal{G}(\; \log\sum_i\exp\{\alpha_i\}\;) \end{align}$

і ми можемо взяти

z = \underset{i}{a r g m a x} {g_{i} + α_{i}}

$z = \argmax_i \,\{\, g_i + \alpha_i \,\}$

як зразок із категоричного розподілу, параметризованого ймовірностями . Цей підхід було детальніше описано у публікаціях блогу Райана Адамса та Лорана Діна , крім того, Кріс Дж. Маддісон, Даніель Тарлоу та Том Мінка виступили з доповіддю ( слайди ) на конференції " Нейронні системи обробки інформації" (2014) та написали документ під назвою " A * Вибірка, що узагальнила ці ідеї (див. Також Maddison, 2016; Maddison, Mnih and Teh, 2016; Jang and Poole, 2016), які посилаються на Yellott (1977), згадуючи його як той, хто вперше описав цю властивість. $p_1,\dots,p_k$

Реалізувати це досить просто за допомогою вибірки зворотного перетворення , взявши де виводиться з рівномірного розподілу на . Це, звичайно, не найефективніші алгоритми вибірки з категоричного розподілу, але це дозволить вам залишитися в лог-просторі, що може бути перевагою в деяких сценаріях. $g_i=-\log(-\log u_i)$ $u_i$ $(0,1)$

Маддісон, Дж. Дж., Тарлоу, Д., Мінка, Т. (2014). * Вибірки. [В:] Успіхи в системах нейронної обробки інформації (с. 3086-3094).

Єллотт, JI (1977). Зв'язок між аксіомою вибору Люсі, теорією Терстона щодо порівняльного судження та подвійним експоненціальним розподілом. Журнал математичної психології, 15 (2), 109-144.

Maddison, CJ, Mnih, A., & Teh, YW (2016). Розподіл конкрету: безперервна релаксація дискретних випадкових змінних. переддрук arXiv arXiv: 1611.00712.

Jang, E., Gu, S., & Poole, B. (2016). Категорична перепараметризація за допомогою Gumbel-Softmax. переддрук arXiv arXiv: 1611.01144.

Маддісон, CJ (2016). Модель процесу Пуассона для Монте-Карло. arXiv передрук arXiv: 1602.05986.

— Тім
джерело

5

Ось один поширений спосіб уникнути переливу / переливу.

Нехай . $m = \max_i \log(\theta_i)$

Нехай . $\theta_i' = \exp( \log(\theta_i) - m )$

Ви можете зробити вибірку з . $\theta' = [\theta_1' , \theta_2',...]$

— Сіддхарт Гопал
джерело

1

Це працює до тих пір, поки різниця між будь-яким одним значенням і максимальним значенням не буде занадто великою --- коли це станеться, то expможна втратити точність, що призводить до розподілів типу [1.0, 3.45e-66, 0.0, 7.54e-121] . Я хотів би протриматися за деяку відповідь, яка є надійною навіть у такому випадку. Але наразі я підтримую вашу відповідь.

— Джош Хансен