Максимальна оцінка вірогідності спільного розподілу з урахуванням лише граничних підрахунків

Нехай - спільний розподіл двох категоріальних змінних , з . Скажімо, вибірок було взято з цього розподілу, але нам дано лише граничні підрахунки, а саме для : $p_{x,y}$ $X,Y$ $x,y\in\{1,\ldots,K\}$ $n$ $j=1,\ldots,K$

S_{j} = \sum_{i = 1}^{n} δ (X_{i} = l), T_{j} = \sum_{i = 1}^{n} δ (Y_{i} = j),

$S_j = \sum_{i=1}^{n}{\delta(X_i=l)}, T_j = \sum_{i=1}^{n}{\delta(Y_i=j)},$

Який максимальний показник ймовірності для даними ? Це відомо? Обчислювально доцільно? Чи є інші розумні підходи до цієї проблеми, крім ML? $p_{x,y}$ $S_j,T_j$

— RS
джерело

Поля насправді не містить інформації * про спільний розподіл (дійсно, це справа копул). * або, принаймні, навряд чи будь-яка - очевидно, що поля містять хоча б деяку інформацію, оскільки інтер'єр не може перевищувати межі, в яких вони зустрічаються. Чи маєте ви на увазі конкретний спільний розподіл? Чому ви використовували тег? Ви після рішення максимальної ентропії?

$\:$ maximum-entropy

— Glen_b -Встановіть Моніку

Я не дуже знайомий з копулами. Чи дотримуються вони і категоричної справи? Що це означатиме - що кожен спільний розподіл з однаковими полями матиме однакову ймовірність? (Я позначив максимальну ентропію, тому що вважав, що це може бути доречно.)

— RS

У нас навіть немає визначеної моделі розподілу, тому ми насправді не в змозі обчислити . Тут є численні можливості. Копули існують для упорядкованого категоричного випадку (якщо не унікального), але моєю метою в тому, щоб зробити це, було дати мотивацію, чому маргінали взагалі були не дуже інформативними. Стосовно випадку категоричного підрахунку, Фішер розглядав поля як неінформативні щодо суглоба, звідки точний тест Фішера-Ірвіна. Якщо ви хочете максимальної ентропії, ви, ймовірно, можете отримати рішення щодо максимальної ентропії, але я не знаю, що це буде дуже інформативно про ...

P (x | θ)

$P(x|\theta)$

— Glen_b -Встановити Моніку

(ctd) ... структура. У будь-якому випадку ME чи ML, я думаю, що вам спочатку знадобиться якась модель, будь то багатоваріантна багаточленна, двоваріантна гіпергеометрична чи щось із більшою структурою. Дивіться це запитання , де автор ставить посилання на відповідь. Це може допомогти.

— Glen_b -Встановити Моніку

Я мав на увазі загальний біваріантний багаточленний розподіл. Питання говорить про випадок, коли наведено суми розподілу, і ми бачимо зразки спільного розподілу. Тут ми маємо суми вибірки. Я думаю, що проблема чітко визначена у випадку ML (рішення може бути не унікальним, але я не знаю).

— RS

Відповіді:

Така проблема була вивчена в роботі "Збільшення даних у багатосторонніх таблицях на випадок із фіксованою граничною сукупністю" Dobra et al (2006). Нехай позначає параметри моделі, нехай позначає непомічену цілу таблицю підрахунків для кожної пари , а - набір цілих таблиць, граничне число яких дорівнює . Тоді ймовірність спостереження граничних підрахунків дорівнює: де $\theta$ $\mathbf{n}$ $(x,y)$ $C(S,T)$ $(S,T)$ $(S,T)$

p (S, T | θ) = \sum_{n \in C (S, T)} p (n | θ)

$p(S,T | \theta) = \sum_{\mathbf{n} \in C(S,T)} p(\mathbf{n} | \theta)$

p (n | θ)

$p(\mathbf{n} | \theta)$ - розподіл багаточленної вибірки. Це визначає ймовірність функціонування ML, але пряма оцінка неможлива, за винятком невеликих проблем. Підхід, який вони рекомендують, - це MCMC, де ви по черзі оновлюєте та шляхом вибірки з розповсюдження пропозиції та приймаючи зміни відповідно до коефіцієнта прийняття Metropolis-Hastings. Це можна адаптувати, щоб знайти приблизний максимум над використовуючи Монте-Карло ЕМ.

n

$\mathbf{n}$

θ

$\theta$

θ

$\theta$

Інший підхід використовує варіативні методи для наближення суми до . Граничні обмеження можуть бути кодовані як факторний графік, а висновок над можна здійснити за допомогою розповсюдження очікування. $\mathbf{n}$ $\theta$

Щоб зрозуміти, чому ця проблема є складною і не допускає тривіального рішення, розглянемо випадок . Приймаючи як суму рядків і як підсумок стовпця, є дві можливі таблиці підрахунків: Тому функція правдоподібності MLE для цієї проблеми - що відповідає припущенню таблиці зліва. Навпаки, оцінка, яку ви отримаєте, здобувши незалежність, це $S=(1,2), T=(2,1)$ $S$ $T$

[\begin{matrix} 0 & 1 \\ 2 & 0 \end{matrix}] [\begin{matrix} 1 & 0 \\ 1 & 1 \end{matrix}]

$\begin{bmatrix} 0 & 1 \\ 2 & 0 \end{bmatrix} \qquad \begin{bmatrix} 1 & 0 \\ 1 & 1 \end{bmatrix}$

p (S, T | θ) = 3 p_{12} p_{21}^{2} + 6 p_{11} p_{21} p_{22}

$p(S,T|\theta) = 3 p_{12} p_{21}^2 + 6 p_{11} p_{21} p_{22}$

{\hat{p}}_{x, y} = [\begin{matrix} 0 & 1 / 3 \\ 2 / 3 & 0 \end{matrix}]

$\hat{p}_{x,y} = \begin{bmatrix} 0 & 1/3 \\ 2/3 & 0 \end{bmatrix}$

q_{x, y} = [\begin{matrix} 1 / 3 \\ 2 / 3 \end{matrix}] [\begin{matrix} 2 / 3 & 1 / 3 \end{matrix}] = [\begin{matrix} 2 / 9 & 1 / 9 \\ 4 / 9 & 2 / 9 \end{matrix}]

$q_{x,y} = \begin{bmatrix} 1/3 \\ 2/3 \end{bmatrix} \begin{bmatrix} 2/3 & 1/3 \end{bmatrix} = \begin{bmatrix} 2/9 & 1/9 \\ 4/9 & 2/9 \end{bmatrix}$ яка має меншу величину ймовірності.

— Том Мінка
джерело

Чи не можливо отримати аналітичний розв’язок?

— Бен Кун

Дякую! Документ здається актуальним, хоча він, здається, байєсівський. Як щодо конкретного випадку, коли насправді є самим розподілом, а саме для всіх пар? Підозрюєте, чи буде в цьому випадку аналітичне рішення?

θ

$\theta$

θ = {θ_{x, y}}

$\theta=\{\theta_{x,y}\}$

(x, y)

$(x,y)$

— РС

Я б не підозрював, що існує аналітичне рішення. Я додав приклад, щоб проілюструвати це.

— Том Мінька

Дякую. Можливо, це правда асимптотично? Тоді кондиціонування підсумків маржі - це те саме, що обумовлення розподілу маржі (після нормалізації), і ймовірність журналу для кожної незабезпеченої цілочислової таблиці пропорційна його ентропії. Може, щось із AEP тоді?

— РС

Як зазначав @Glen_b, це недостатньо уточнено. Я не думаю, що ви можете використовувати максимальну ймовірність, якщо не зможете повністю вказати ймовірність.

Якби ви були готові взяти на себе незалежність, тоді проблема досить проста (до речі, я думаю, що рішення було б запропонованим максимальним рішенням ентропії). Якщо ви не бажаєте і не можете нав’язати додатковій структурі у своїй проблемі, і ви все ще хочете певного наближення до значень комірок, можливо, ви можете скористатися межами копули Фреше-Гоффдінга . Без додаткових припущень я не думаю, що ви можете піти далі.

— Ф. Туселл
джерело

Ймовірність цього може бути багаточленною. Чому це недостатньо?

— RS

Як я розумію, ймовірність є функцією параметрів, що задаються даними. Тут у вас немає значень для кожної комірки, лише маргінали, отже, ви не маєте жодної функції параметрів, які можна обчислити, не кажучи вже про максимізацію. Загалом, існує безліч конфігурацій комірок, сумісних із полями, і кожна з них дає різну ймовірність.

— Ф. Тузелл

Так, але це нормально. Параметри , дані - граничні. Я все ще можу обчислити ймовірність маргіналів, заданих - це сума над усіма ймовірностями конфігурацій комірок, які дають маргінали. Це єдина функція, яку я можу максимально використати.

p

$p$

p

$p$

— RS

Редагувати: Ця відповідь заснована на неправильному припущенні, що ймовірність граничних підрахунків, заданих є лише функцією граничних ймовірностей і . Я все ще думаю про це. $p_{x,y}$ $p_x = \sum_y p_{x,y}$ $p_y = \sum_x p_{x,y}$

Наступні помилки:

Як згадується в коментарі, проблема з пошуку "максимальної оцінки ймовірності для полягає в тому, що він не є унікальним. Наприклад, розглянемо випадок із двійковими та маргіналами . Два оцінки $p_{x, y}$ $X, Y$ $S_1 = S_2 = T_1 = T_2 = 10$

p = (\begin{array}{cc} \frac{1}{2} & 0 \\ 0 & \frac{1}{2} \end{array}), p = (\begin{array}{cc} \frac{1}{4} & \frac{1}{4} \\ \frac{1}{4} & \frac{1}{4} \end{array})

$p = \left(\begin{array}{cc} \frac12 & 0 \\ 0 & \frac12\end{array}\right), \qquad p = \left(\begin{array}{cc} \frac14 & \frac14 \\ \frac14 & \frac14\end{array}\right)$

мають однакові граничні ймовірності та у всіх випадках, а отже, мають однакові ймовірності (обидва вони максимізують функцію ймовірності, як ви можете перевірити). $p_x$ $p_y$

Дійсно, незалежно від того, якими є маргінали (поки два з них не мають нуля в кожному вимірі), рішення максимальної вірогідності не є єдиним. Я докажу це для двійкової справи. Нехай є рішенням максимальної ймовірності. Не втрачаючи загальності, припустимо, . Тоді має однакові маргінали і, таким чином, також є рішенням максимальної ймовірності. $p = \left(\begin{array}{cc}a & b \\ c & d\end{array}\right)$ $0 < a \le d$ $p = \left(\begin{array}{cc}0 & b + a \\ c + a & d - a\end{array}\right)$

Якщо ви хочете додатково застосувати обмеження максимальної ентропії, тоді ви отримаєте унікальне рішення, яке, як заявив Ф. Тюсселл, є рішенням, в якому незалежні. Ви можете побачити це так: $X, Y$

Ентропія розподілу ; максимізація з урахуванням і (рівнозначно, де і ) за допомогою множників Лагранжа дає рівняння: $H(p) = -\sum_{x,y} p_{x,y} \log p_{x,y}$ $\sum_x p_{x,y} = p_y$ $\sum_{y} p_{x,y} = p_x$ $\vec g(p) = 0$ $g_x(p) = \sum_y p_{x,y} - p_x$ $g_y(p) = \sum_x p_{x,y} - p_y$

\nabla H (p) = \sum_{k \in X \cup Y} λ_{k} \nabla g_{k} (p)

$\nabla H(p) = \sum_{ k \in X \cup Y} \lambda_k \nabla g_k(p)$

Усі градієнти кожного дорівнюють 1, тому для координації це працює $g_k$

1 - \log p_{x, y} = λ_{x} + λ_{y} ⟹ p_{x, y} = e^{1 - λ_{x} - λ_{y}}

$1 - \log p_{x,y} = \lambda_x + \lambda_y \implies p_{x,y} = e^{1-\lambda_x-\lambda_y}$

плюс початкові обмеження і . Ви можете переконатися, що це задоволено, коли та , даючи $\sum_x p_{x,y} = p_y$ $\sum_{y} p_{x,y} = p_x$ $e^{1/2 - \lambda_x} = p_x$ $e^{1/2 - \lambda_y} = p_y$

p_{x, y} = p_{x} p_{y} .

$p_{x,y} = p_xp_y.$

— Бен Кун
джерело

Перший приклад: наведені граничні підрахунки , а не граничні ймовірності. У випадку, який ви описали, ймовірність для лівого - це ймовірність яка дорівнює . Для правого це , що дорівнює . Навіть якщо немає унікального рішення, це не означає, що ми не можемо вказати на якесь рішення. Максимальна ентропія дає унікальне рішення, але це може бути не максимальною ймовірністю.

S_{1} = S_{2} = T_{1} = T_{2} = 10

$S_1=S_2=T_1=T_2=10$

p

$p$

[[10, 0], [0, 10]]

$[[10,0],[0,10]]$

2^{- 20}

$2^{-20}$

p

$p$

\sum_{0 \leq a \leq 10} P r [[a, 10 - a], [10 - a, a]]

$\sum_{0\le a \le 10}{Pr[[a,10-a],[10-a,a]]}$

10 \cdot 4^{- 20}

$10\cdot 4^{-20}$

— RS

Ви неправильно обчислили ймовірності; наприклад, ви забули включити двочленні коефіцієнти. Але ви маєте рацію в тому, що дві матриці дають різні спільні розподіли граничних підрахунків, хоча вони дають однаковий граничний розподіл граничних підрахунків. (Так!) Я подумаю про це більше.

— Бен Кун