Чи приймають байєсів аксіоми Колмогорова?

Зазвичай теорія ймовірностей викладається з аксіомами Колгоморова. Чи приймають байєси також аксіоми Колмогорова?

probability bayesian kolmogorov-axioms

Баєсова теорія випливає із стандартних аксіом вірогідності, звідси і від аксіом Колмогорова.

— Сіань

@ Xi'an: Те, що суб'єктивні ступені віри можна представити ймовірністю, не є настільки очевидним - звідси і питання, і робота Ramsey & de Finetti.

— Scortchi

Ось чому я є "об'єктивним" баєсом і починаю з попередніх розподілів, визначених відповідно до стандартів теорії ймовірностей ...

— Сіань

Я вважаю, що трактування ймовірності Кокса-Джейнеса забезпечує жорстку основу для байєсівської ймовірності. (див. мою відповідь). Однак було б непогано мати думку Сіань з цього приводу.

— Саміт

@Summit: дякую, але я боюся, що мене не дуже цікавить питання ...!

— Сіань

Відповіді:

На мій погляд, тлумачення ймовірності Кокса-Джейнеса забезпечує жорстку основу для байєсівської ймовірності:

Кокс, Річард Т. "Вірогідність, частота та розумні очікування". Американський фізичний журнал 14.1 (1946): 1-13.
Джейн, Едвін Т. Теорія ймовірностей: логіка науки. Кембриджська університетська преса, 2003.
Бек, Джеймс Л. "Байєсівська ідентифікація системи, заснована на логіці ймовірності". Структурний контроль та моніторинг здоров’я 17.7 (2010): 825-847.

Аксіоми ймовірності логіки, отримані Коксом, є:

$\Pr[b|a]\ge0$
(P2): (функція заперечення) $\Pr[\overline{b}|a]=1-\Pr[b|a]$
(P3): (функція сполучення) $\Pr[b\cap c|a]=\Pr[c|b\cap a]\Pr[b|a]$

Аксіоми P1-P3 мають на увазі наступне (Бек, Джеймс Л. "Байєсівська ідентифікація системи на основі логіки ймовірності". Структурний контроль та моніторинг здоров'я 17.7 (2010): 825-847):

(P4): а) ; б) ; в) $\Pr[b|b\cap c] = 1$ $\Pr[\overline{b}|b\cap c] = 0$ $\Pr[b|c]\in[0,1]$
(P5): a) , b) , де означає, що міститься в , а означає, що еквівалентно . $\Pr[a|c \cap (a \Rightarrow b)]\le\Pr[b|c\cap(a \Rightarrow b)]$ $\Pr[a|c\cap(a \Leftrightarrow b)] = \Pr[b|c\cap(a \Leftrightarrow b)]$ $a \Rightarrow b$ $a$ $c$ $a \Leftrightarrow b$ $a$ $b$
(P6): $\Pr[a \cup b|c] = \Pr[a|c]+\Pr[b|c]-\Pr[a\cap b|c]$
(P7): Якщо припустити, що пропозиція стверджує, що одне і лише одне з пропозицій є істинним, то: b 1 , … , b N
- а) Теорема маргіналізації: $\Pr[a|c]=\sum_{n=1}^N P[a \cap b_n|c]$
- б) Повна теорема вірогідності: $\Pr[a|c] = \sum_{n=1}^N \Pr[a|b_n\cap c]\Pr[b_n|c]$
- c) Теорема Байєса: Для : $k=1,\ldots,N$ $\Pr[b_k|a\cap c] = \frac{\Pr[a|b_k\cap c]\Pr[b_k|c]}{\sum_{n=1}^N \Pr[a|b_n\cap c]\Pr[b_n|c]}$

Вони мають на увазі логічне твердження Колмогорова, яке можна розглядати як особливий випадок.

У моєму трактуванні байєсівської точки зору, все завжди (неявно) зумовлене нашими переконаннями та нашими знаннями.

Наступне порівняння взято з Бека (2010): Байєсівська ідентифікація системи на основі логіки ймовірностей

Байєсівська точка зору

Ймовірність - це міра правдоподібності твердження на основі визначеної інформації.

Розподіл імовірностей представляє стани правдоподібних знань про системи та явища, а не властиві їм властивості.
Імовірність моделі - це міра її правдоподібності щодо інших моделей у наборі.
Прагматично кількісно визначає невизначеність через відсутність інформації без будь-яких тверджень, що це пов'язано з властивою природою випадковістю.

Частота зору

Ймовірність - відносна частота виникнення властивої випадкової події в довгостроковій перспективі .

Розподіл імовірностей - властиві властивості випадкових явищ.
Обмежений обсяг, наприклад, немає значення для ймовірності моделі.
Притаманна випадковість , але не може бути доведена.

Як вивести аксіоми Колмогорова з аксіом вище

Далі, розділ 2.2 [Бек, Джеймс Л. "Байєсівська ідентифікація системи на основі логіки ймовірності". Структурний контроль та моніторинг здоров'я 17.7 (2010): 825-847.] Узагальнено:

У наступному використовуємо: міру ймовірності для підмножини кінцевого набору : $\Pr(A)$ $A$ $X$

[K1]: $\Pr(A)\ge 0, \forall A \subset X$
[K2]: $\Pr(X) = 1$
[K3]: якщо і неперервні. $\Pr(A\cup B)=\Pr(A)+\Pr(B), \forall A,B \subset X$ $A$ $B$

Для того щоб вивести (K1-K3) з аксіом теорії ймовірностей, [Бек, 2010] ввів propositon який констатує та задає модель ймовірності для . [Бек, 2010] також вводить . $\pi$ $x\in X$ $x$ $\Pr(A) = \Pr[x\in A|\pi]$

P1 означає, що K1 з і $b=\{x\in A\}$ $c=\pi$
K2 випливає з ; P4 (а), і йдеться , що . $\Pr[x\in X|\pi]=1$ $\pi$ $x\in X$
K3 може бути похідне від P6: і є неперервними, тобто і взаємно виключають. Тому K3: $A$ $B$ $x\in A$ $x\in B$ $\Pr(x\in A\cup B|\pi)=\Pr(x\in A|\pi)+\Pr(x\in B|\pi)$

— Саміт
джерело

З вашого K3 ви можете дістатися до (кінцева добавка), але не до 3-ї аксіоми Колмогорова, (лічильна придатність), коли - елементи поля -field, а не просто підмножини скінченного набору.

Pr (\cup_{i = 1}^{n} A_{i}) = \sum_{i = 1}^{n} Pr (A_{i})

$\Pr(\cup_{i=1}^n A_i)=\sum_{i=1}^n\Pr(A_i)$

Pr (\cup_{i = 1}^{\infty} A_{i}) = \sum_{i = 1}^{\infty} Pr (A_{i})

$\Pr(\cup_{i=1}^\infty A_i)=\sum_{i=1}^\infty\Pr(A_i)$

A

$A$

σ

$\sigma$

— Scortchi

@Scortchi KRKoch у своєму вступі до байесівської статистики цитує Бернардо і Сміта (1994), Bayesian Theory, p. 105, як джерело, яке показує, як вирішувати обчислювальну нескінченність. Я цього не перевіряв, але в якості посилання це може бути також дано тут.

— gwr

Після розробки Теорії ймовірностей необхідно було показати, що слабкіші поняття, що відповідають назвою "ймовірності", відміряються суворо визначеною концепцією, яку вони надихнули. "Суб'єктивні" байєсівські ймовірності були розглянуті Рамзі та де Фінетті, які незалежно показали, що кількісне визначення ступеня переконання залежить від обмежень порівнянності та узгодженості (ваші переконання узгоджені, якщо ніхто не може скласти голландську книгу проти вас). бути ймовірністю.

Різниці між аксіоматизаціями є значною мірою питаннями смаку щодо того, що має бути, що визначено та що отримано. Але чисельність адитивності - одна з Колмогорова, яка не виводиться з Кокса чи Фінетті, і є суперечливою. Деякі байєси (наприклад, de Finetti & Savage) зупиняються на кінцевій аддиктивності, тому не приймають усіх аксіом Колмогорова. Вони можуть встановлювати рівномірні розподіли ймовірностей протягом нескінченних інтервалів без недоречності. Інші слідують за Вільґасом, також приймаючи монотонну безперервність, і отримують від цього помітну адекватність.

Рамзі (1926), "Істина та ймовірність", у "Ramsey" (1931), "Основи математики та інші логічні есе"

de Finetti (1931), "Sul sigigato soggettivo della вераbilità", Fundamenta Mathematicæ , 17 , pp. 298 - 329

Villegas (1964), "Про якісну ймовірність -алгебри", Енн. Математика. Статист. , 35 , 4. $\sigma$

— Скорчі - Відновлення Моніки
джерело

Чому моя відповідь повинна стосуватися лише "об'єктивних байєсівських" ймовірностей? Насіннєва робота Кокса (1946) прямо вирішує питання суб'єктивності! Це дуже цікавий і легкий для читання папір. Я не думаю, що має сенс розмежовувати "суб'єктивні" та "об'єктивні" байєсівські ймовірності: все завжди неявно обумовлене людиною, яка проводить аналіз -> і в цьому плані "суб'єктивною".

— Саміт

щодо виведення аксіом, викладених Колмогоровим від Кокса: я задоволений тим, як це робиться в розділі 2.2 Бека Джеймса Л. "Байєсівська ідентифікація системи, заснована на логіці ймовірності". Структурний контроль та моніторинг здоров’я 17.7 (2010): 825-847.

— Саміт

@Summit: (1) Ти маєш рацію; це швидше, що диспозиційний погляд на Рамзі та де Фінетті розміщує їх прямо в "суб'єктивному" таборі, тоді як Кокс є більш загальноприйнятим. (2) Ви говорите , лічильна адитивність може бути виведена з постулатів Кокси?

— Scortchi

Я продовжив свою відповідь і з нетерпінням чекаю ваших коментарів.

— Саміт

@Summit: Дякую - я сподіваюся, що знайду час, щоб зробити мою навіть наполовину ретельнішою. Я вказав на розрив між тим, куди можна дістатись з теореми Кокса, і "повною" аксіомою Колмогорова, і думаю, що це особливо неминуче питання (хоча я про це повністю забув, коли вперше відповів). У Джейнеса було щось цікаве сказати про цю BTW.

— Scortchi