Асимптотичний розподіл багаточлени

10

Я шукаю обмежувальний розподіл мультиноміального розподілу над d результатами. IE, розподіл наступного

lim_{n \to \infty} n^{- \frac{1}{2}} X_{n}

$\lim_{n\to \infty} n^{-\frac{1}{2}} \mathbf{X_n}$

Де $\mathbf{X_n}$ - випадкова величина векторного значення з щільністю $f_n(\mathbf{x})$ для $\mathbf{x}$ така що $\sum_i x_i=n$ , $x_i\in \mathbb{Z}, x_i\ge 0$ і 0 для всіх інших $\mathbf{x}$ , де

f_{n} (x) = n! \prod_{i = 1}^{d} \frac{p_{i}^{x_{i}}}{x_{i}!}

$f_{n}(\mathbf{x})=n!\prod_{i=1}^d\frac{p_i^{x_i}}{x_i!}$

Я знайшов одну форму в "Теоремі всієї статистики" Ларрі Вассермана, сторінка 237, але для обмеження розповсюдження вона дає Нормальне за допомогою сингулярної коваріаційної матриці, тому я не знаю, як це нормалізувати. Ви можете спроектувати випадковий вектор у (d-1) -вимірний простір, щоб зробити коваріаційну матрицю повнорозмірною, але яку проекцію використовувати?

Оновлення 11/5

Рей Коопман має хороший підсумок проблеми однини Гаусса. В основному, сингулярна матриця коваріації являє собою ідеальну кореляцію між змінними, яку неможливо представити з гауссом. Однак можна отримати розподіл Гаусса для умовної щільності, обумовлене тим, що значення випадкового вектора є дійсним (компоненти складають до $n$ у випадку вище).

Різниця для умовного Гаусса полягає в тому, що інверсне замінюється псевдо-зворотним, а коефіцієнт нормалізації використовує "добуток ненульових власних значень" замість "добутку всіх власних значень". Ян Фрісс посилається на деякі деталі.

Існує також спосіб виразити коефіцієнт нормалізації умовного гаусса, не посилаючись на власні значення, ось деривація

asymptotics multinomial

— Ярослав Булатов
джерело

Що саме ви маєте на увазі під обмеженням розподілу в цьому випадку?

— Robby McKilliam

тобто з тієї, яку ви отримаєте від теоретики Центрального ліміту, дозвольте мені оновити деталі

— Ярослав Булатов

1

Що ви маєте на увазі, це асимптотичний розподіл максимальної ймовірності оцінки багаточлену. Також першим рівнянням має бути n ^ {- 1}, а не n ^ {- 1/2}.

— Саймон Бірн

1

У позначенні вище, для d = 2, X_n - це кількість головок після n кинень монети, тому X_n / sqrt (n) наближається до нормального, а не X_n / n, ні?

— Ярослав Булатов

1

Так, ви праві. Я просто плутав себе.

— Саймон Бірн

6

Коваріація все ще є негативно визначеною (так це дійсний багатоваріантний нормальний розподіл ), але не є позитивно визначеною: що це означає, що (принаймні) один елемент випадкового вектора є лінійною комбінацією інших.

Як результат, будь-який малюнок із цього розподілу завжди лежить на підпросторі . Як наслідок, це означає, що неможливо визначити функцію щільності (оскільки розподіл зосереджено на підпросторі: подумайте про те, як одновимірний нормал сконцентрується на середньому, якщо дисперсія дорівнює нулю). $R^d$

Однак, як пропонує Робі Маккілліам, у цьому випадку ви можете скинути останній елемент випадкового вектора. Коваріаційна матриця цього зменшеного вектора буде початковою матрицею, з останньою стовпчиком і рядком випаде, що тепер буде позитивно визначеним і матиме щільність (цей трюк буде працювати в інших випадках, але ви повинні бути обережними, який елемент ви падаєте, і вам може знадобитися скинути більше одного).

— Саймон Берн
джерело

Що трохи незадовільно - це свобода вибору, щоб отримати дійсну щільність, мені потрібно попросити розподілити A x, де A - деяка матриця d-1 (d) x (d-1). Чи буде похибка наближення CLT для скінченного n рівною для всіх варіантів A? Це мені незрозуміло

— Ярослав Булатов

1

Так, помилка завжди повинна бути однаковою. Майте на увазі, що останній елемент вектора функціонально залежить від інших (d-1) елементів (і в кінцевій вибірці, і в асимптотичних випадках).

— Саймон Бірн

Справа не в тому, що останній елемент залежить, проблема Ярослава полягає в тому, що йому не подобається ідея вибрати вибір, який елемент скинути. Я згоден з відповіддю, яку ви дали, але я також вважаю, що тут потрібно трохи більше думок і турбот.

— Robby McKilliam

@Yaroslav: Можливо, було б добре мати уявлення про те, яку програму ви тут маєте на увазі, оскільки на цьому етапі є багато відповідей на ваше запитання.

— Robby McKilliam

1

Robby - додаток, який я мав на увазі, є тут mathoverflow.net/questions/37582/… В основному інтеграли Гаусса, запропоновані CLT, дають надзвичайно гарне наближення до сум біноміальних коефіцієнтів (для малих n навіть краще, ніж інтегрувати представлення гамми!), тож я бачив, чи зможу я зробити щось подібне, щоб отримати приблизні суми мультиноміальних коефіцієнтів, які мені потрібні, щоб отримати неасимптотичні межі помилок для різних монтажників (наприклад, максимальна ймовірність)

— Ярослав Булатов

2

Тут немає особливої проблеми з особливою коваріацією. Ваше асимптотичне поширення - це сингулярне нормальне явище. Дивіться сторінку http://fedc.wiwi.hu-berlin.de/xplore/tutorials/mvahtmlnode34.html, яка дає густину однини нормальною.

— Ян Фіске
джерело

Технічно проблема полягає в тому, що сингулярна матриця коваріації означає, що деякий підмножина змінних ідеально співвідноситься, тому щільність ймовірностей повинна бути рівною 0 в деяких областях, але це не можливо для Гаусса. Одне рішення - замість того, щоб подивитися на умовну щільність, обумовлену тим, що випадкова величина лежить у здійсненій області. Це схоже на те, що вони роблять за посиланням. Ніколи не чув термін "G-зворотний", я здогадуюсь, це псевдо-зворотний Пенроуз-Мур?

— Ярослав Булатов

Хоча це правда, що звичайний двовимірний Гаусс підтримує всі , особливого Гаусса немає. G-inverse - це узагальнене зворотне, і так, я вважаю, що визначення Пенроуза-Мура працює тут. Я думаю, що існує CLT для сингулярних коваріацій, констатуючи, як очікувалося, конвергенцію в розподілі до сингулярного CLT, хоча я зараз не можу знайти посилання.

ℜ^{d}

$\Re^d$

— Ян Фіске

1

Вона дивиться на мене , як ковариационная матриця Вассермана виродилися, щоб побачити, помножити його на вектор одиниць, тобто довжини . $d$ $[1,1,1,\dots,1]^\prime$ $d$

Вікіпедія так чи інакше дає ту саму матрицю коваріації. Якщо ми обмежимось лише біноміальним розподілом, то стандартна теорема про центральну межу говорить нам, що біноміальний розподіл (після відповідного масштабування) зближується до нормального, оскільки стає великим (див. Вікіпедію ще раз ). Застосовуючи подібні ідеї, ви повинні бути в змозі показати, що належним чином масштабований багаточлен буде збігатися в розподілі до багатоваріантного нормального, тобто кожен граничний розподіл є просто двочленним і сходиться до нормального розподілу, і різниця між ними відома. $n$

Отже, я дуже впевнений, що ви побачите, що розподіл сходиться до багатоваріантної нормалі з нульовою середньою та коваріаційною де - коваріація матриця розглянутого мультинома і - вектор ймовірностей .

\frac{X_{n} - n p}{\sqrt{n}}

$\frac{X_n - np}{\sqrt{n}}$

\frac{C}{n}

$\frac{C}{n}$

C

$C$

p

$p$

[p_{1}, \dots, p_{d}]

$[p_1,\dots,p_d]$

— Robby McKilliam
джерело

1

але матриця коваріації мультиномії, про яку йдеться, є сингулярною, ви самі це показали ...

— Ярослав Булатов

О, я бачу вашу проблему! Один з елементів, скажімо, й, повністю залежить від інших. Можливо, якщо ви відрізаєте останній рядок і стовпець ви отримаєте, що зазвичай розподіляються, але мені доведеться подумати про це. Звичайно, це вже десь вирішено!

d

$d$

C

$C$

[p_{1}, p_{2}, \dots, p_{d - 1}]

$[p_1,p_2,\dots,p_{d-1}]$

— Robby McKilliam

Одна з пропозицій, яку я знайшов, - це все-таки використовувати гауссова, але використовувати псевдо-зворотну, а не зворотну та "добуток ненульових власних значень" замість визначального. Для d = 2 це, здається, дає правильну форму щільності, але коефіцієнт нормалізації вимкнено

— Ярослав Булатов

1

Чи не такдля всіх де - матриця багаточленної коваріації з вилученим -м рядком та стовпцем? Оскільки це так, я не розумію, що ви маєте на увазі під "свободою вибору", оскільки будь-який "вибір" еквівалентний. $|S_{-i}|=|S_{-j}|$ $i,j$ $S_{-i}$ $i$

— jvdillon
джерело

Ці матриці не рівні, ось матриця коваріації yaroslavvb.com/upload/multinomial-covariance-matrix.png

— Ярослав Булатов

Так, це дійсно коваріаційна матриця. Випадання будь-якого i-го стовпця та рядків у тому ж терміні нормалізації для Гаусса було моїм моментом. Можливо, я пропускаю щось очевидне?

— jvdillon

Ага ... не помітив визначального знака. Гм ... вони здаються рівними на деяких прикладах, які я намагався, чи є прості докази цього? Однак власні значення не рівні. Мотивацією до питання було з’ясувати, чи дає теорема центрального граничного рівня однакову похибку наближення для скінченного незалежно від того, який мультином компонент, який ти скидаєш

n

$n$

— Ярослав Булатов

Можливо , найпростіший спосіб , щоб переконати себе в тому , що і штекером, протягом в .

p_{i} = 1 - \sum_{j \neq i} p_{j}

$p_i=1-\sum_{j\ne i}p_j$

p_{i}

$p_i$

S

$S$

— jvdillon

До речі, мені подобається ваше застосування цієї ідеї - звідси мій інтерес до відповіді.

— jvdillon