Що так класно в теоремі уявлення де Фінетті?

З теорії статистики Марка Дж. Шервіша (стор. 12):

Хоча теорема репрезентації DeFinetti 1.49 є ключовою для мотивації параметричних моделей, вона фактично не використовується в їх реалізації.

Яким чином теорема має головне значення для параметричних моделей?

— gui11aume
джерело

Я думаю, що це центральне місце для байесівських моделей. Я щойно обговорював це з синглтоном. Важливість баєсівської статистики не помічається за винятком тих баєсів, які були прихильниками дефінети. Дивіться цю посилання Діаконіса і Фрідмана з 1980 року

— Майкла Черника

@cardinal: сторінка 12 (я оновив питання).

— gui11aume

Зауважте, що Шервіш сказав "... центральним для параметричних моделей ...".

motivating

$\textbf{motivating}$

— Дзен

Я часто замислювався про те, наскільки представлення є "реальним" і скільки засноване на конкретних інтерпретаціях теореми. Його можна так само просто використовувати для опису попереднього розподілу, як і для опису моделі.

— ймовірністьлогічний

Відповіді:

Теорема репрезентації Де Фінетті однозначно в межах суб'єктивістичної інтерпретації ймовірностей дає можливість існування статистичних моделей та значення параметрів та їх попереднього розподілу.

Припустимо, що випадкові величини представляють результати послідовних кидок монети зі значеннями і відповідають результатам "Головки" та "Хвости" відповідно. Аналізуючи, в контексті суб'єктивістської інтерпретації імовірного обчислення, значення звичайної частолістської моделі, за якою незалежні та ідентично розподілені, Де Фінетті зауважив, що умова незалежності означає, наприклад, що і, отже, результати першого кидок не змінив би мою невпевненість у результаті $X_1,\dots,X_n$ $1$ $0$ $X_i$

P {X_{n} = x_{n} ∣ X_{1} = x_{1}, \dots, X_{n - 1} = x_{n - 1}} = P {X_{n} = x_{n}},

$P\{X_n=x_n\mid X_1=x_1,\dots,X_{n-1}=x_{n-1}\} = P\{X_n=x_n\} \, ,$

n - 1

$n-1$

n

$n$ -й кидок. Наприклад, якщо я вважаю що це врівноважена монета, то, отримавши інформацію про те, що перші кидок виявилися "головами", я все одно вірю, умовно на цю інформацію, що ймовірність потрапляння "Heads" на жеребкування 1000 дорівнює . Фактично, гіпотеза незалежності означатиме, що неможливо дізнатися нічого про монету, спостерігаючи за результатами її кидок.

a priori

$\textit{a priori}$

999

$999$

1 / 2

$1/2$

X_{i}

$X_i$

Це спостереження призвело Де Фінетті до введення умови, слабшої за незалежність, яка вирішує це явне протиріччя. Ключовим рішенням Де Фінетті є різновид розподільної симетрії, відомий як обмінність.

$\textbf{Definition.}$ Для заданого кінцевого набору випадкових об'єктів, нехай позначають їх спільний розподіл. Цей кінцевий набір можна якщо , для кожної перестановки . Послідовність випадкових об'єктів обмінна, якщо кожна її кінцева підмножина може бути обмінна. $\{X_i\}_{i=1}^n$ $\mu_{X_1,\dots,X_n}$ $\mu_{X_1,\dots,X_n} = \mu_{X_{\pi(1)},\dots,X_{\pi(n)}}$ $\pi:\{1,\dots,n\}\to\{1,\dots,n\}$ $\{X_i\}_{i=1}^\infty$

Припустивши лише, що послідовність випадкових змінних є обмінною, Де Фінетті довів помітну теорему, яка проливає світло на значення загальновживаних статистичних моделей. У конкретному випадку, коли приймають значення і , теорема представлення Де Фінетті говорить, що може бути обмінним, якщо і тільки якщо є випадкова величина , з розподілом , таким чином, що в якому . Більше того, ми маємо це $\{X_i\}_{i=1}^\infty$ $X_i$ $0$ $1$ $\{X_i\}_{i=1}^\infty$ $\Theta:\Omega\to[0,1]$ $\mu_\Theta$

P {X_{1} = x_{1}, \dots, X_{n} = x_{n}} = \int_{[0, 1]} θ^{s} (1 - θ)^{n - s} d μ_{Θ} (θ),

$P\{X_1=x_1,\dots,X_n=x_n\} = \int_{[0,1]} \theta^s(1-\theta)^{n-s}\,d\mu_\Theta(\theta) \, ,$

s = \sum_{i = 1}^{n} x_{i}

$s=\sum_{i=1}^n x_i$

{\bar{X}}_{n} = \frac{1}{n} \sum_{i = 1}^{n} X_{i} \to_{n \to \infty}^{} Θ almost surely,

$\bar{X}_n = \frac{1}{n}\sum_{i=1}^n X_i \xrightarrow[n\to\infty]{} \Theta \qquad \textrm{almost surely},$ що відомо як сильний закон Де Фінетті про великі числа.

Ця теорема представлення показує, як статистичні моделі виникають у байєсівському контексті: під гіпотезою спостережуваних , a таким чином, що, враховуючи значення , спостережувані елементи незалежні та однаково розподілені. Більше того, суворий закон Де Фінетті показує, що наша попередня думка про непомітний , представлений розподілом , є думкою щодо межі , перш ніж ми отримаємо інформацію про значення реалізацій будь-якого з $\{X_i\}_{i=1}^\infty$ $\textbf{there is}$ $\textit{parameter}$ $\Theta$ $\Theta$ $\textit{conditionally}$ $\Theta$ $\mu_\Theta$ $\bar{X}_n$ $X_i$ 's. Параметр відіграє роль корисної допоміжної побудови, яка дозволяє нам отримати умовні ймовірності, що включають лише спостережувані за допомогою відносин типу $\Theta$

P {X_{n} = 1 ∣ X_{1} = x_{1}, \dots, X_{n - 1} = x_{n - 1}} = E [Θ ∣ X_{1} = x_{1}, \dots, X_{n - 1} = x_{n - 1}] .

$P\{X_n=1\mid X_1=x_1,\dots,X_{n-1}=x_{n-1}\} = \mathrm{E}\left[\Theta\mid X_1=x_1,\dots,X_{n-1}=x_{n-1}\right] \, .$

— Дзен
джерело

Дякую за цю проникливу відповідь! Ваша думка про незалежність є дуже важливою, яку я усвідомлюю вперше.

— gui11aume

("корисне" було краще :))

— Ніл Г

Мені важко зрозуміти вислів "існує параметр щоб (дано ) - iid." З теореми подання видно, що все, що ми можемо отримати, - це те, що . Тобто очікуване значення справжньої щільності таке ж, як і очікуване значення щільності iid bernoulli з параметром . Не могли б ви пояснити мені, як ми можемо скинути очікуване значення, щоб ми зробили претензію щодо самої справжньої щільності?

Θ

$\Theta$

Θ

$\Theta$

X_{i}

$X_i$

E [θ^{s} (1 - θ)^{s}] = E [P (X_{i} = x_{i} \forall i | θ)]

$E [\theta^s (1-\theta)^s] = E[P(X_i = x_i \, \forall \, i | \theta) ]$

θ

$\theta$

— користувач795305

Інтеграл - . Оскільки він визначає як , умовно iid дано .

Pr {X_{1} = x_{1}, \dots, X_{n} = x_{n} ∣ Θ = θ}

$\Pr\{X_1=x_1,\dots,X_n=x_n\mid\Theta=\theta\}$

\prod_{i = 1}^{n} Pr {X_{i} = x_{i} ∣ Θ = θ} = \prod_{i = 1}^{n} θ^{x_{i}} (1 - θ)^{1 - x_{i}}

$\prod_{i=1}^n \Pr\{X_i=x_i\mid\Theta=\theta\}=\prod_{i=1}^n \theta^{x_i}(1-\theta)^{1-x_i}$

X_{i}

$X_i$

Θ = θ

$\Theta=\theta$

— Дзен

@Zen Дякую! Я розумію перше речення, однак частину ", оскільки воно визначає як "для мене ще незрозумілий. Як ви знаєте, що це чинники таким чином? Схоже, ви скидаєте очікувану цінність із особи, про яку я писав у своєму попередньому коментарі, але я не впевнений, наскільки це виправдано.

\prod_{i = 1}^{n} Pr {X_{i} = x_{i} ∣ Θ = θ} = \prod_{i = 1}^{n} θ^{x_{i}} (1 - θ)^{1 - x_{i}}

$\prod_{i=1}^n \Pr\{X_i=x_i\mid\Theta=\theta\}=\prod_{i=1}^n \theta^{x_i}(1-\theta)^{1-x_i}$

— користувач795305

У відповіді Дзен все математично правильно. Однак я не згоден з деяких питань. Будь ласка, майте на увазі, що я не претендую / вважаю, що моя точка зору є хорошою; навпаки, я вважаю, що ці моменти для мене ще не зовсім зрозумілі. Це дещо філософські питання, про які я люблю обговорювати (і хороша вправа з англійської мови для мене), і мене також цікавлять будь-які поради.

Щодо прикладу з "Головами", Дзен коментар: "гіпотеза незалежності означатиме, що неможливо дізнатися нічого про монету, спостерігаючи за результатами її кидок". Це не вірно з періодичної точки зору: дізнатися про монету означає дізнатися про , що можливо шляхом оцінки (бальна оцінка або довірчий інтервал) за попередніми результатами. Якщо частоліст спостерігає "Голів", то він / вона робить висновок, що , ймовірно, близький до , і так є отже. $999$ $X_i$ $\theta$ $\theta$ $999$ $999$ $\theta$ $1$ $\Pr(X_n=1)$
До речі, у цьому прикладі монети, що таке випадкове ? Уявляючи, що кожен з двох людей нескінченно багато разів грає в одну і ту ж монету з однією монетою, чому вони знайдуть іншу ? Я маю на увазі, що характеристика метання монет - це фіксований який є загальним значенням для будь-якого гравця ("майже будь-який геймер" з технічних математичних причин). Більш конкретним прикладом, для якого немає інтерпретації випадкових є випадок випадкової вибірки з заміною в кінцевій сукупності і . $\Theta$ $\theta = \bar X_\infty$ $\theta$ $\bar X_\infty$ $\Theta$ $0$ $1$
Щодо книги Шервіша та питання, поставленого ОП, я думаю (швидко кажучи) Шервіш означає, що обмінність є "крутим" припущенням, і тоді теорема Дефінетті є "крутою", оскільки вона говорить про те, що кожна змінна модель має параметричне подання. Звичайно, я повністю згоден. Однак якщо я припускаю таку модель, що може бути як та тоді мені було б цікаво виконати умовиводи про і , а не про реалізацію . Якщо мене цікавить лише реалізація то я не бачу інтересу в припущенні обмінності. $(X_i\mid\Theta=\theta)\sim_\text{iid} \text{Bernoulli}(\theta)$ $\Theta \sim \text{Beta}(a,b)$ $a$ $b$ $\Theta$ $\Theta$

Вже пізно...

— Стефан Лоран
джерело

Привіт, Стефане! Дякую за коментарі до моєї відповіді. Щодо Вашої першої думки, що , у моїй відповіді все сказано в байєсівському контексті. Немає реальної спроби встановити контраст з іншими парадигмами висновку. Коротше кажучи, я спробував висловити, що теорема Де Фінетті означає для мене, як баєса.

"this is not true from the frequentist perspective"

$\textbf{"this is not true from the frequentist perspective"}$

— Дзен

Про вашу другу кулю: випадкова є (як) межа , як зазначено в LLN Де Фінетті. Отже, коли якийсь Баєсіан каже, що моїм попереднім для є , він означає, що цей розподіл представляє його невизначеність щодо цієї межі, перш ніж мати доступ до даних. У різних байезійців можуть бути різні пріори, але, при відповідних умовах регулярності, вони матимуть угоду про (подібні плакати), оскільки вони отримують все більше і більше інформації про результати тестів.

Θ

$\Theta$

{\bar{X}}_{n}

$\bar{X}_n$

Θ

$\Theta$

μ_{Θ}

$\mu_\Theta$

a posteriori

$\textit{a posteriori}$

Θ

$\Theta$

— Дзен

Фіксована, але невідома не є байєсівською концепцією.

θ

$\theta$

— Дзен

Про вашу третю кулю, дану: 1) що Шервіш - байоський статистик; 2) кількість часу та енергії, яку він витрачає на обговорення обмінності у своїй книзі; Я вважаю, що для нього роль теореми Де Фінетті дуже глибока, виходить за рамки прохолоди. Але я згоден, що це все-таки круто!

— Дзен

Для уточнення моєї точки зору: я не вірю, що у "базовій" (неієрархічній) баєсовій моделі існує випадкова . Існує фіксована невідома , і попередній розподіл описує віру в це. Роль випадкової величини - це лише математична обробка байєсівського умовиводу, вона не має інтерпретації в експерименті. Якщо ви дійсно припускаєте обмінні, але не незалежні спостереження, як-от приклад моєї третьої кулі, то вам доведеться поставити гіперпріори на і .

θ

$\theta$

θ

$\theta$

Θ

$\Theta$

a

$a$

b

$b$

— Стефан Лоран

Вас, хлопців, може зацікавити документ на цю тему (передплата потрібна для підписки на журнал - спробуйте отримати доступ до нього у вашому університеті):

O'Neill, B. (2011) Обмінність, кореляція та ефект Байєса. Міжнародний статистичний огляд 77 (2), с. 241-250.

У цій статті розглянуто теорему представлення як основу як для байєсівської, так і для частістської IID-моделей, а також застосовується її до прикладу метання монет. Це повинно прояснити обговорення припущень парадигми частості. Він фактично використовує більш широке розширення до теореми подання, що виходить за межі біноміальної моделі, але вона все-таки повинна бути корисною.

— Статистика
джерело

Чи є у вас версія робочого паперу? У мене немає доступу до атм :-(

— IMA

@Stats Я прочитав цей документ після того, як побачив вашу відповідь. Я мушу сказати, що це найкращий документ, що ілюструє байесівську та частоту в цьому питанні, яку я коли-небудь бачив. Я б хотів, щоб я прочитав цей документ набагато раніше. (+1)

— КевінКім