Чи можна мультиноміал (1 / n,…, 1 / n) охарактеризувати як дискретизований Діріхле (1, .., 1)?


24

Тож це питання злегка безладний, але я включаю барвисті графіки, щоб компенсувати це! Спочатку передумови, а потім питання.

Фон

Скажімо, у вас -вимірний мультиноміальний розподіл з рівними ймовірностями по категоріям. Нехай π = ( π 1 , , π n ) - нормовані відліки ( c ) від цього розподілу, тобто:nnnπ=(π1,,πn)c

(c1,,cn)Multinomial(1/n,,1/n)πi=cin

Тепер розподіл по π має підтримку n простого, але з дискретними кроками. Наприклад, при n=3 цей розподіл має таку підтримку (червоні точки):

введіть тут опис зображення

Інший розподіл з подібною підтримкою - це n -вимірний розподіл Dirichlet(1,,1) , тобто рівномірний розподіл по одиничному симплексу. Наприклад, ось випадкові малюнки з 3-разового Dirichlet(1,1,1) :

введіть тут опис зображення

Тепер у мене виникла думка, що розподіл π з Multinomial(1/n,,1/n) розподілу можна охарактеризувати як малюнки з Dirichlet(1,,1) , які дискретизуються до дискретної опори π . Я мав на увазі дискретизацію (і це, здається, працює добре), полягає в тому, щоб взяти кожну точку в симплексі і "закруглити її" до найближчої точки, яка є підтримкою π. Для тривимірного симплексу ви отримуєте такий розділ, де точки в кожній кольоровій області повинні "округлюватися" до найближчої червоної точки:

введіть тут опис зображення

Оскільки розподіл Діріхле є рівномірним, то отримана щільність / ймовірність для кожної з точок пропорційна площі / об'єму, яка «округляється» до кожної точки. Для двовимірного та тривимірного випадків ці ймовірності:

введіть тут опис зображення ( ці ймовірності базуються на моделюванні Монте-Карло )

Отже, схоже, щонайменше для 2 та 3 вимірів, отриманий розподіл ймовірності від дискретизуючого таким чином є таким самим, як розподіл ймовірності для π . Це нормалізований результат розподілу багаточленів ( 1 / n , , 1 / n ) . Я також пробував 4-х розмір, і, здається, він там працює.Dirichlet(1,,1)πMultinomial(1/n,,1/n)

Питання (и)

Тому моє головне питання:

Якщо дискретизує рівномірний Діріхле саме таким чином, чи має відношення до для подальших розмірів? Чи взагалі має відношення? (Я спробував це лише за допомогою моделювання Монте-Карло ...)Multinomial(1/n,,1/n)

Далі мені цікаво:

  • Якщо це відношення має місце, чи це відомий результат? І чи є якесь джерело, яке я можу навести для цього?
  • Якщо ця дискретизація рівномірного Діріхле не має такого відношення до мультиноміалу. Чи є якась така конструкція, яка має?

Деякий контекст

Моя причина задавати це питання полягає в тому, що я дивлюся на схожість між непараметричним Bootstrap і Bayes Bootstrap, а потім це з’явилося. Я також помітив, що візерунок на кольорових ділянках 3-денного симплексу вище виглядає (і повинен бути) діаграмою Вороного. Один із способів (я сподіваюсь) ви можете подумати про це як послідовність трикутника / Simpex Паскаля ( http://www.math.rutgers.edu/~erowland/pascalssimplices.html ). Там, де розміри кольорових областей слідують за другим рядом трикутника Паскаля у двовимірному випадку, третьому рядку тетраедра Паскаля у 3-му випадку тощо. Це пояснило б зв'язок з багаточленним розподілом, але тут я справді в глибокій воді ...


2
весело! (Як завжди.) Але я пропускаю з'єднання шкарпеток.
Сіань

Ну, я почав малювати шкарпетки із заміною. Але потім я почав думати про байєсівський бустрап, одна справа призвела до іншої, і ось я закінчився тут :)
Rasmus Bååth

2
@ Xi'an, може, це шкарпетки, а не щенята, які повинні стати байєсівським талісманом?
Тім

Відповіді:


14

Ці два розподіли для кожного .n4

Позначення

Я збираюся змінити масштаб вашого симплекса на коефіцієнт , щоб точки решітки мали цілі координати. Це нічого не змінює, я просто думаю, що це робить позначення трохи менш громіздкими.n

Нехай - ( n - 1 ) -простий, заданий як опуклий корпус точок ( n , 0 , ... , 0 ) , ..., ( 0 , ... , 0 , n ) в R n . Іншими словами, це точки, де всі координати є негативними, і де координати дорівнюють n .S(n1)(n,0,,0)(0,,0,n)Rnn

Нехай позначає безліч точок решітки , тобто тих точок у S, де всі координати є цілісними.ΛS

Якщо є гратами точки, позначить через V Р позначить його Ворону клітку , визначається як ті точки S , які є (строго) ближче до P , ніж до будь-якої іншої точки Л .PVPSPΛ

Ми ставимо дві імовірнісних розподілів ми можемо покласти на . Одним з них є поліноміальних розподілом, де точка ( 1 , . . . , П ) має ймовірність 2 - п п ! / ( a 1 ! a n ! ) . Інший боку, ми будемо називати модель Діріхле , і привласнює кожен P Л ймовірності , пропорційну обсягом V P .Λ(a1,...,an)2nn!/(a1!an!)PΛVP

Дуже неформальне обгрунтування

Я стверджую, що мультиноміальна модель та модель Діріхле дають різні розподіли на , коли n 4 .Λn4

Щоб побачити це, розглянемо випадок , а точки A = ( 2 , 2 , 0 , 0 ) і B = ( 3 , 1 , 0 , 0 ) . Я стверджую, що V A і V B конгруентні через переклад вектором ( 1 , - 1 , 0 , 0 ) . Це означає, що V A і V Bn=4A=(2,2,0,0)B=(3,1,0,0)VAVB(1,1,0,0)VAVBмають однаковий об'єм, і таким чином, що і B мають однакову ймовірність у моделі Діріхле. З іншого боку, у мультиноміальній моделі вони мають різні ймовірності ( 2 - 44 ! / ( 2 ! 2 ! ) Та 2 - 44 ! / 3 ! ), І звідси випливає, що розподіли не можуть бути рівними.AB244!/(2!2!)244!/3!

Те, що і V B є конгруентними, випливає з наступного правдоподібного, але неочевидного (і дещо розпливчастого) твердження:VAVB

Імовірне твердження : на форму та розмір впливають лише "безпосередні сусіди" P (тобто ті точки в Λ, які відрізняються від P за вектором, який має вигляд ( 1 , - 1 , 0 , ... , 0 ) , де 1 і - 1 можуть бути в інших місцях)VPPΛP(1,1,0,,0)11

Неважко помітити, що конфігурації «безпосередніх сусідів» і B однакові, і з цього випливає, що V A і V B є конгруентними.ABVAVB

У випадку, коли , ми можемо грати в ту саму гру з A = ( 2 , 2 , n - 4 , 0 , , 0 ) і B = ( 3 , 1 , n - 4 , 0 , , 0 ) , наприклад.n5A=(2,2,n4,0,,0)B=(3,1,n4,0,,0)

Я не думаю, що ця претензія є абсолютно очевидною, і я не збираюся її доводити, а не дещо іншою стратегією. Однак я вважаю, що це більш інтуїтивна відповідь на те, чому розподіли різні для .n4

Суворий доказ

Візьміть і B, як у неофіційному обґрунтуванні вище. Потрібно лише довести, що V A і V B є конгруентними.ABVAVB

З огляду на , , ми визначимо W P наступним чином : W Р є безліч точок ( х 1 , ... , х п ) S , для яких НЕ більш 1 я п ( a i - p i ) - min 1 i n ( a iP=(p1,,pn)ΛWPWP(x1,,xn)S . (Більш засвоюваним способом: Нехай v i = a i - p i . W P - це сукупність точок, для яких різниця між найвищою та найнижчою v i меншою за 1.)max1in(aipi)min1in(aipi)<1vi=aipiWPvi

Покажемо , що .VP=WP

Крок 1

Затвердження: .VPWP

Це досить просто: Припустимо , що не в W P . Нехай v i = x i - p i , і припустимо (без втрати загальності), що v 1 = max 1 i n v i , v 2 = min 1 i n v i . v 1 - v 2X=(x1,,xn)WPvi=xipiv1=max1inviv2=min1invi Оскількиn i = 1 v i = 0 , ми також знаємо, що v 1 > 0 > v 2 .v1v21i=1nvi=0v1>0>v2

Let now Q=(p1+1,p21,p3,,pn). Since P and X both have non-negative coordinates, so does Q, and it follows that QS, and so QΛ. On the other hand, dist2(X,P)dist2(X,Q)=v12+v22(1v1)2(1+v2)2=2+2(v1v2)0. Thus, X is at least as close to Q as to P, so XVP. This shows (by taking complements) that VpWP.

Step 2

Claim: The WP are pairwise disjoint.

Suppose otherwise. Let P=(p1,,pn) and Q=(q1,,qn) be distinct points in Λ, and let XWPWQ. Since P and Q are distinct and both in Λ, there must be one index i where piqi+1, and one where piqi1. Without loss of generality, we assume that p1q1+1, and p2q21. Rearranging and adding together, we get q1p1+p2q22.

Consider now the numbers x1 and x2. From the fact that XWP, we have x1p1(x2p2)<1. Similarly, XWQ implies that x2q2(x1q1)<1. Adding these together, we get q1p1+p2q2<2, and we have a contradiction.

Step 3

We have shown that VPWP, and that the WP are disjoint. The VP cover S up to a set of measure zero, and it follows that WP=VP (up to a set of measure zero). [Since WP and VP are both open, we actually have WP=VP exactly, but this is not essential.]

Now, we are almost done. Consider the points A=(2,2,n4,0,,0) and B=(3,1,n4,0,,0). It is easy to see that WA and WB are congruent and translations of each other: the only way they could differ, is if the boundary of S (other than the faces on which A and B both lie) would ``cut off'' either WA or WB but not the other. But to reach such a part of the boundary of S, we would need to change one coordinate of A or B by at least 1, which would be enough to guarantee to take us out of WA and WB anyway. Thus, even though S does look different from the vantage points A and B, the differences are too far away to be picked up by the definitions of WA and WB, and thus WA and WB are congruent.

It follows then that VA and VB have the same volume, and thus the Dirichlet model assigns them the same probability, even though they have different probabilities in the multinomial model.


Wow, rigorous! Thanks! So the slight correspondence I was hoping for was accidental I guess...
Rasmus Bååth
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.