Що саме є альфа в дистрибуті Діріхле?

Я досить новачок у байєсівській статистиці, і я натрапив на виправлену кореляційну міру, SparCC , яка використовує процес Діріхле у підставці його алгоритму. Я намагався пройти алгоритм поетапно, щоб зрозуміти, що відбувається, але я не впевнений, що саме робить alphaвекторний параметр при розподілі Діріхле і як він нормалізує alphaвекторний параметр?

Для реалізації Pythonвикористовується NumPy: https://docs.scipy.org/doc/numpy/reference/generated/numpy.random.dirichlet.html

Документи кажуть:

альфа: масив Параметр розподілу (k розмірність для вибірки розмірності k).

Мої запитання:

1. Як alphasвпливають на розподіл ?;

2. Як alphasнормалізуються істоти ?; і

3. Що відбувається, коли alphasне є цілими числами?

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

# Reproducibility
np.random.seed(0)

# Integer values for alphas
alphas = np.arange(10)
# array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])

# Dirichlet Distribution
dd = np.random.dirichlet(alphas) 
# array([ 0.        ,  0.0175113 ,  0.00224837,  0.1041491 ,  0.1264133 ,
#         0.06936311,  0.13086698,  0.15698674,  0.13608845,  0.25637266])

# Plot
ax = pd.Series(dd).plot()
ax.set_xlabel("alpha")
ax.set_ylabel("Dirichlet Draw")

Розподіл Діріхле - це багатофакторний розподіл ймовірностей, який описує змінні , так що кожен та , що параметризується вектор позитивних значень параметрів . Параметри не повинні бути цілими числами, вони повинні мати лише додатні дійсні числа. Вони ні в якому разі не «нормалізуються», вони є параметрами цього розподілу.X 1 , … , X k x i ∈ ( 0 , 1 ) ∑ N i = 1 x i = $k\ge2$$X_1,\dots,X_k$$x_i \in (0,1)$$\sum_{i=1}^N x_i = 1$$\boldsymbol{\alpha} = (\alpha_1,\dots,\alpha_k)$

Розподіл Діріхле - це узагальнення бета-розподілу на кілька вимірів, тому можна почати з вивчення бета-розподілу. Бета - це одноманітне розподіл випадкової величини параметризованої параметрами та . Хороша інтуїція про це приходить , якщо згадати , що це пов'язаний перед для біноміального розподілу , і якщо ми припускаємо , бета до параметризрвані і для параметра ймовірності біноміального розподілу по , то заднє розподіл також параметр бета-розподілу, параметризований користувачемα β α β p p α ′ = α + кількість успіхів β ′ = β + кількість відмов α $X \in (0,1)$$\alpha$$\beta$$\alpha$$\beta$$p$$p$$\alpha' = \alpha + \text{number of successes}$ і . Таким чином, ви можете думати про та як про псевдо-рахунки (їм не потрібно бути цілими числами) успіхів та невдач (перевірте також цю нитку ).$\beta' = \beta + \text{number of failures}$$\alpha$$\beta$

У випадку розподілу Діріхле це кон'югат , який є попереднім для мультиноміального розподілу . Якщо у випадку біноміального розподілу ми можемо думати про це з точки зору малювання білих та чорних кульок із заміною урни, то у випадку мультиноміального розподілу ми малюємо із заміни кульок, що з’являються у кольорах, де кожен із кольорів з куль можна намалювати з ймовірностями . Розподіл Діріхле - це сполучений параметр для параметрів ймовірностей та параметрів можна вважати псевдорахунком кульок кожного кольору, що приймаються апріорноk p 1 , … , p k p 1 , … , p k α 1 , … , α k α 1 , … , α k α 1 + n 1 , … , α k + n $N$$k$$p_1,\dots,p_k$$p_1,\dots,p_k$$\alpha_1,\dots,\alpha_k$(але слід також прочитати про підводні камені таких міркувань ). У диріхле-мультиноміальній моделі оновлюються шляхом підсумовування їх із спостережуваними підрахунками у кожній категорії: аналогічно, як у випадку бета-біноміальної моделі.$\alpha_1,\dots,\alpha_k$$\alpha_1+n_1,\dots,\alpha_k+n_k$

Чим більше значення , тим більша "вага" і більша кількість загальної "маси" присвоюється йому (згадаймо, що в загальній складності воно повинно бути ). Якщо всі рівні, розподіл симетричний. Якщо , це можна розглядати як противагу, що відштовхує до крайнощів, тоді як, коли він високий, він притягує до деякого центрального значення (центрального в тому сенсі, що всі точки зосереджені навколо нього, а не в відчуття, що воно симетрично центральне). Якщо , то точки розподіляються рівномірно.$\alpha_i$$X_i$$x_1+\dots+x_k=1$$\alpha_i$$\alpha_i < 1$$x_i$$x_i$$\alpha_1 = \dots = \alpha_k = 1$

Це можна побачити на графіках нижче, де ви можете бачити триваріантні розподіли Діріхле (на жаль, ми можемо створити розумні графіки лише до трьох вимірів), параметризовані за допомогою (a) , (b) , (c) , (г) .α 1 = α 2 = α 3 = 10 α 1 = 1 , α 2 = 10 , α 3 = 5 α 1 = α 2 = α 3 = $\alpha_1 = \alpha_2 = \alpha_3 = 1$$\alpha_1 = \alpha_2 = \alpha_3 = 10$$\alpha_1 = 1, \alpha_2 = 10, \alpha_3 = 5$$\alpha_1 = \alpha_2 = \alpha_3 = 0.2$

Розподіл Діріхле іноді називають "розподілом по розподілах" , оскільки його можна розглядати як розподіл самих ймовірностей. Зауважте, що оскільки кожен та , то узгоджуються з першою та другою аксіомами ймовірності . Таким чином, ви можете використовувати розподіл Диріхле як розподіл ймовірностей для дискретних подій, описаних дистрибутивами, такими як категоричні або багаточлени . Це не так∑ k i = 1 x i = 1 x i$x_i \in (0,1)$$\sum_{i=1}^k x_i = 1$$x_i$вірно, що це розподіл на будь-які розподіли, наприклад, це не пов'язано з ймовірністю безперервних випадкових змінних або навіть деяких дискретних (наприклад, розподілена випадкова величина Пуассона описує ймовірності спостереження значень, що є будь-якими натуральними числами, тому використовувати a Розподіл Діріхле за їхніми ймовірностями вам знадобиться нескінченна кількість випадкових величин ).$k$

Відмова: Я ніколи раніше не працював з цим розповсюдженням. Ця відповідь ґрунтується на цій статті у вікіпедії та моїй інтерпретації.

---

Розподіл Діріхле - це багатофакторний розподіл ймовірностей із властивостями, подібними до розподілу Бета.

PDF визначається наступним чином:

$$\{x_1, \dots, x_K\} \sim\frac{1}{B(\boldsymbol{\alpha})}\prod_{i=1}^Kx_i^{\alpha_i - 1}$$

з , та .$K \geq 2$$x_i \in (0,1)$$\sum_{i=1}^Kx_i = 1$

Якщо ми подивимось на тісно пов’язаний бета-розподіл:

$$\{x_1, x_2 (=1-x_1)\} \sim \frac{1}{B(\alpha,\beta)}x_1^{\alpha-1}x_2^{\beta-1}$$

ми можемо бачити, що ці два розподіли однакові, якщо . Тож спершу грунтуємося на цій інтерпретації, а потім узагальнюємо до .$K=2$$K>2$

---

У статистиці Баєса Бета-розподіл використовується як кон'югат, попередній для біноміальних параметрів (Див. Розподіл бета ). Попередній може бути визначений як попередні знання про та (або відповідно до розподілу Діріхле та ). Якщо якісь - то біноміальні проби , тобто успіхи і невдача, заднє розподіл потім наступний чином : і . (Я не буду це робити, оскільки це, мабуть, одне з перших речей, які ви дізнаєтесь із байєсівської статистики).β α 1 α 2 A B α 1 , p o s = α 1 + A α 2 , p o s = α 2 + $\alpha$$\beta$$\alpha_1$$\alpha_2$$A$$B$$\alpha_{1,pos} = \alpha_1 + A$$\alpha_{2,pos}=\alpha_2 + B$

Отже, розподіл Beta представляє деякий задній розподіл на та , який можна інтерпретувати як ймовірність успіхів і невдач відповідно у двочленному розподілі. І чим більше у вас даних ( і ), тим вузькішим буде цей задній розподіл.x 2 ( = 1 - x 1 ) A $x_1$$x_2 (=1-x_1)$$A$$B$

---

Тепер ми знаємо, як працює розподіл для , ми можемо узагальнити його для роботи для багаточленного розподілу замість двочленного. Що означає, що замість двох можливих результатів (успіх чи невдача) ми дозволимо отримати результати (див., Чому він узагальнює Beta / Binom, якщо ?) Кожен з цих результатів матиме ймовірність , яка дорівнює 1, як це можливо.K K = 2 K x $K=2$$K$$K=2$$K$$x_i$

α 1 α 2 x $\alpha_i$Тоді виконує аналогічну роль як та в дистрибутиві Beta, як попереднє для і оновлюється аналогічно.$\alpha_1$$\alpha_2$$x_i$

Тож тепер, щоб перейти до ваших питань:

Як alphasвпливають на розподіл?

Розподіл обмежується обмеженнями та . визначити , які частини - мірного простору отримати максимальну масу. Ви можете бачити це на цьому зображенні (не вкладаючи його сюди, тому що я не є власником зображення). Чим більше даних у задній частині (використовуючи цю інтерпретацію), тим вище , тим більш впевненим ви є значення або ймовірності для кожного з результатів. Це означає, що щільність буде більш концентрованою.$x_i \in (0,1)$$\sum_{i=1}^Kx_i = 1$$\alpha_i$$K$$\sum_{i=1}^K\alpha_i$$x_i$

Як alphasнормалізуються істоти?

Нормалізація розподілу (переконавшись, що інтеграл дорівнює 1) проходить через термін :$B(\boldsymbol{\alpha})$

$$B(\boldsymbol{\alpha}) = \frac{\prod_{i=1}^K\Gamma(\alpha_i)}{\Gamma(\sum_{i=1}^K\alpha_i)}$$

Знову ж таки, якщо ми подивимось на випадок ми можемо побачити, що нормалізуючий коефіцієнт такий же, як у бета-розподілі, який використовував наступне:$K=2$

$$B(\alpha_1, \alpha_2) = \frac{\Gamma(\alpha_1)\Gamma(\alpha_2)}{\Gamma(\alpha_1+\alpha_2)}$$

Це поширюється на

$$B(\boldsymbol{\alpha}) = \frac{\Gamma(\alpha_1)\Gamma(\alpha_2)\dots\Gamma(\alpha_K)}{\Gamma(\alpha_1+\alpha_2+\dots+\alpha_K)}$$

Що відбувається, коли альфа не є цілими числами?

Інтерпретація не змінюється для , але, як ви бачите на зображенні, яке я зв'язав раніше , якщо маса розподілу накопичується в краях діапазону для . з іншого боку, має бути цілим числом і .α i < 1 x i K K ≥ $\alpha_i>1$$\alpha_i < 1$$x_i$$K$$K\geq2$