Як баєси порівнюють розподіли?

Отже, я вважаю, що я гідно розумію основи частого періодичного вірогідності та статистичного аналізу (і як погано це можна використовувати). У частістському світі є сенс задати таке питання, як "чи відрізняється цей розподіл від такого розподілу", оскільки дистрибуції вважаються реальними, об'єктивними та незмінними (як мінімум для даної ситуації), і тому ми можемо рахувати з'ясується, наскільки ймовірним є те, що один зразок береться з розподілу, схожого на інший зразок.

У байєсівському світогляді нас хвилює лише те, що ми очікуємо побачити, враховуючи наш минулий досвід (я все ще трохи розпливчастий у цій частині, але я розумію концепцію оновлення Баєса). Якщо це так, то як баєсів може сказати, "цей набір даних відрізняється від набору даних"?

Для цілей цього питання я не переймаюся статистичною значимістю чи подібним, а як кількісно оцінити різницю. Мене однаково цікавлять параметричні та непараметричні розподіли.

Подумайте над своїм твердженням як про частого лікаря та спершу зробіть його більш конкретним. Часто лікар не може сказати, що "набір даних A відрізняється від набору даних B" без будь-яких додаткових роз'яснень.

По-перше, вам доведеться зазначити, що ви маєте на увазі під "різними". Можливо, ви маєте на увазі "мають різні середні значення". Знову ж таки, ви можете сказати, що "мають різні відхилення". А може, щось інше?

Тоді вам доведеться вказати, який саме тест ви б використовували, що залежить від того, які ви вважаєте, чи є правильними припущення щодо даних. Ви припускаєте, що набори даних обидва зазвичай розподіляються приблизно щодо певних засобів? Або ти вважаєш, що вони обидва бета-версії? Або щось інше?

Тепер ви бачите, що друге рішення дуже схоже на пріорі в баєсівській статистиці? Це не просто "мій минулий досвід", а швидше те, в що я вірю, і те, в що я вірю моїм ровесникам, є обґрунтованими припущеннями щодо моїх даних. (І баєси можуть використовувати однакові пріори, що підштовхує речі до частотних розрахунків.)

EDIT: У відповідь на ваш коментар: наступний крок міститься в першому згаданому нами рішенні. Якщо ви хочете вирішити, чи відрізняються засоби двох груп, ви подивитесь на розподіл різниці засобів двох груп, щоб побачити, чи цей розподіл містить чи не містить нуля, на якомусь рівні впевненості. Наскільки саме близький до нуля ви зараховуєте до нуля і яку саме частину (задньої) дистрибуції ви використовуєте, визначаєте ви та рівень впевненості, який ви бажаєте.

Обговорення цих ідей можна знайти у статті Крушке , який також написав дуже читану книгу " Проведення Байєсівського аналізу даних" , яка висвітлює приклад на сторінках 307-309 "Чи рівні групи?". (Друге видання: стор. 468-472.) Він також публікує блог на цю тему , з деякими запитаннями та питаннями.

ДОПОМОГА редакція: Ваш опис байєсівського процесу також не зовсім коректний. Байєсів цікавить лише те, що нам дають дані, зважаючи на те, що ми знали, незалежно від даних. (Як зазначає Крушке, попереднє значення не обов'язково відбувається перед даними. Саме з цього випливає ця фраза, але насправді це лише наші знання, виключаючи деякі дані.) Те, що ми знали незалежно від певного набору даних, може бути розпливчастим або конкретним. і може базуватися на консенсусі, моделі основного процесу генерування даних або можуть бути просто результатами іншого (не обов'язково попереднього) експерименту.

ця стаття може бути цікавою: http://arxiv.org/pdf/0906.4032v1.pdf

У ньому подано короткий підсумок деяких частістських та баєсовських підходів до двох вибіркових проблем, а також обговорюються як параметричні, так і непараметричні випадки.

Це може додати щось до інших відповідей, щоб дати простий приклад. Скажімо, у вас є два набори даних та де кожен та або або . Ви припускаєте ідентичну модель Бернуллі в обох випадках, тому кожен$\mathbf{x}$$\mathbf{y}$$x_i$$y_j$$0$$1$$x_i\sim Bern(p)$$y_i\sim Bern(q)$

$\mathcal{H}_0: \: \: p=q$

$\mathcal{H}_1: \: \: p,q$

Ймовірність отримання даних у кожному конкретному випадку є:

$\mathcal{H}_0$$L_0(p) = f(\mathbf{x},\mathbf{y};p) = \prod_i p^i (1-p)^{1-i} \prod_j p^j(1-p)^{1-j}$

$\mathcal{H}_1$$L_1(p,q) = f(\mathbf{x},\mathbf{y};p,q) = \prod_i p^i (1-p)^{1-i} \prod_j q^j(1-q)^{1-j}$

$\mathcal{H}_0 \:\: q=p$

$W = -2\log\left\{ \frac{L_0(p_{max})}{L_1(p_{max},q_{max})}\right\},$

$p_{max},q_{max}$$p$$q$$p_{max}$$p_{max}$$W$$\chi^2_1$$\mathcal{H}_0$

$p\sim \pi_0$$\mathcal{H}_0$$p,q\sim \pi_1$$\mathcal{H}_1$

$BF = \frac{ f(\mathbf{x},\mathbf{y}|\mathcal{H}_0) }{f(\mathbf{x},\mathbf{y}|\mathcal{H}_1)} = \frac{ \int_0^1 L_0(p)\pi_0(p)dp}{\int_0^1 \int_0^1 L_1(p,q)\pi_1(p,q)dpdq}$

$\mathcal{H}_0$$\mathcal{H}_1$$\mathcal{H}_0$$\mathcal{H}_1$ $p(\mathcal{H}_0)=p(\mathcal{H}_1) = 1/2$

$\frac{p(\mathcal{H}_0|\mathbf{x},\mathbf{y})}{p(\mathcal{H}_1|\mathbf{x},\mathbf{y})} = BF \times \frac{p(\mathcal{H}_0)}{p(\mathcal{H}_1)} = BF \times \frac{1/2}{1/2} = BF.$

$>1$$\mathcal{H}_0$$\mathcal{H}_1$$\mathcal{H}_0$

$\mathcal{H}_1$

Сподіваюся, що це допомагає разом з іншими вже опублікованими відповідями.

З огляду на дані, наскільки сильно ми вважаємо, що 2 групи не походять з одного населення (H_1: вони не походять з одного населення проти H_0: вони походять з одного населення). Це можна зробити за допомогою байєсівського t-тесту.

Складність використовується для того, щоб визначити, наскільки попереднє перекривається однією гіпотезою. Fit використовується для того, щоб визначити, наскільки задня частина перекривається однією гіпотезою. У поєднанні ви можете порівняти гіпотези та висловити свою задню віру в те, чи походять вони з одного населення.