Що саме є байєсівська модель?

34

Чи можу я назвати модель, у якій теорема Байєса використовується "баєсовою моделлю"? Боюся, таке визначення може бути занадто широким.

Отже, що саме є байєсівською моделлю?

machine-learning bayesian

— Сіббс Азартні ігри
джерело

9

Байєсівська модель - це статистична модель, складена з пари до x вірогідності = задньої х граничної. Теорема Байєса дещо вторинна до концепції пріору.

— Сіань

18

По суті, той, де висновок заснований на використанні теореми Байєса для отримання заднього розподілу на величину чи величину, що представляє інтерес, утворюють деяку модель (наприклад, значення параметрів), засновану на деякому попередньому розподілі для відповідних невідомих параметрів та ймовірності з боку моделі.

тобто з розподільної моделі якоїсь форми, та попереднього , хтось може намагатися отримати задній . $f(X_i|\mathbf{\theta})$ $p(\mathbf{\theta})$ $p(\mathbf{\theta}|\mathbf{X})$

Простий приклад байєсівської моделі обговорюється в цьому питанні , а в коментарях до цього - байєсівська лінійна регресія, більш детально обговорена тут у Вікіпедії . Пошуки викликають обговорення ряду байесівських моделей тут.

Але є й інші речі, які можна спробувати зробити при байєсівському аналізі, крім того, щоб просто відповідати моделі - див., Наприклад, байєсівську теорію рішень.

— Glen_b -Встановити Моніку
джерело

У лінійній регресії чи тут вектор ? Якщо ні, то що це?

θ

$\theta$

[β_{0}, β_{1}, . . ., β_{n}]

$[\beta_0, \beta_1, ..., \beta_n]$

— BCLC

1

@BCLC Зазвичай він також включає .

σ

$\sigma$

— Glen_b -Встановіть Моніку

1

@BCLC Ви, мабуть, плутаєте частістські та баєсовські умовиводи. Байєсівський висновок фокусується на будь-яких кількостях, які вас цікавлять. Якщо вас цікавлять параметри (наприклад, висновок про конкретні коефіцієнти), ідея полягає у пошуку заднього розподілу [параметри | дані]. Якщо вас цікавить середня функція ( ), ви б шукали заднього розподілу для цього (що, звичайно, є функцією (багатоваріантного) розподілу ). Ви можете використовувати OLS у вашій оцінці, але параметри задньої панелі будуть зміщені на попередній ...

μ_{Y} | X

$\mu_Y|X$

β

$\mathbb{\beta}$

— Glen_b -Встановити Моніку

1

... дивіться сторінку вікіпедії про байєсівську регресію та деякі дискусії тут на CV

— Glen_b -Встановити Моніку

1

Цей підрахунок іноді з'являється (ви називали його чи ) з різних причин. Мій попередній коментар жодним чином не суперечить цьому розрахунку. (або еквівалентно або ) - це параметр, і вам доведеться боротися з ним разом з іншими параметрами. Однак, хоча ви рідко знаєте ; наприклад, якщо ви робите вибірки Гіббса, умовне буде доречним. Якщо ви просто хочете зробити висновок про , ви інтегруєте (або тощо) з а не умовою на .

σ^{2}

$\sigma^2$

ϕ

$\phi$

σ

$\sigma$

σ^{2}

$\sigma^2$

ϕ

$\phi$

σ

$\sigma$

β

$\beta$

σ

$\sigma$

σ^{2}

$\sigma^2$

θ | y

$\theta|y$

σ

$\sigma$

— Glen_b -Встановіть Моніку

11

Байєсова модель - це просто модель, яка виводить свої умовиводи з заднього розподілу, тобто використовує попередній розподіл та ймовірність, пов'язані з теоремою Байєса.

— Sycorax каже, що відновіть Моніку
джерело

7

Чи можу я назвати модель, у якій теорема Байєса використовується "баєсовою моделлю"?

Ні

Боюся, таке визначення може бути занадто широким.

Ти правий. Теорема Байєса - це правомірне співвідношення між граничними ймовірностями події та умовними ймовірностями. Це справедливо незалежно від вашої вірогідності тлумачення.

Отже, що саме є байєсівською моделлю?

Якщо ви використовуєте попередні та задні поняття де-небудь у вашій експозиції чи інтерпретації, то ви, ймовірно, використовуєте модель Баєсіана, але це не є абсолютним правилом, оскільки ці поняття також використовуються в не-баєсівських підходах.

У більш широкому розумінні, однак, ви повинні підписатися на байесівське тлумачення ймовірності як суб'єктивної віри. Ця маленька теорема Байєса була поширена і розтягнута деякими людьми на весь світогляд і навіть, якщо я сказати, філософію . Якщо ви належите до цього табору, то ви баєс. Байєс не знав, що це станеться з його теоремою. Він би жахнувся, думає я.

— Аксакал
джерело

4

Це, мабуть, є першою відповіддю, яка ввела важливий момент, зроблений у першому рядку: саме використання теореми Байєса не робить щось байєсівською моделлю. Я хотів би заохотити вас піти далі з цією думкою. Ви, здається, відступаєте там, де говорите, що "використання попередніх та задніх концепцій" робить модель Баєсіаном. Це не означає просто знову застосувати теорею Байєса? Якщо ні, чи могли б ви пояснити, що ви маєте на увазі під поняттями у цьому уривку? Зрештою, класична (не байесівська) статистика використовує пріори та постеріори, щоб довести допустимість багатьох процедур.

— whuber

@whuber, це більше нагадувало просте правило. Кожного разу, коли я бачу "попередній" у роботі, він виявляється або претендує на байесівську точку зору. Я все ж уточню свою думку.

— Аксакал

5

Статистичну модель можна розглядати як процедуру / розповідь, що описує, як з'явилися деякі дані. Байєсова модель - це статистична модель, де ви використовуєте ймовірність для представлення всієї невизначеності в межах моделі, як невизначеності щодо виходу, але і невизначеності щодо вхідних даних (aka параметрів) в модель. З цього випливає вся річ попередньої / задньої / теореми Байєса, але, на мою думку, використання ймовірності для всього - це те, що робить його Баєсіаном (і справді, краще слово могло б бути чимось на кшталт імовірнісної моделі ).

Це означає, що більшість інших статистичних моделей можуть бути "введені" в байєсівську модель, модифікуючи їх для використання ймовірності скрізь. Особливо це стосується моделей, які покладаються на максимальну ймовірність, оскільки максимальна вірогідність пристосування моделі є суворим підгруппою байєсівської моделі.

— Rasmus Bååth
джерело

MLE використовується і розробляється за межами байєсівської моделі, тому не зовсім зрозуміло, що ви маєте на увазі під тим, що це "сувора підмножина байєсівської моделі".

— Аксакал

З байєсівської точки зору, MLE - це те, що ви отримуєте, коли приймаєте плоскі пріори, підходите до моделі та використовуєте найбільш ймовірну конфігурацію параметрів як бальну оцінку. Чи це особливий випадок байєсівської «філософії статистики», я залишаю іншим обговорювати, але це, безумовно, особливий випадок пристосування Байєсової моделі.

— Rasmus Bååth

Проблема цього твердження полягає в тому, що він залишає враження, що вам потрібно підписатися на якесь байєсське мислення, щоб використовувати MLE.

— Аксакал

1

Я не впевнений, що ти маєш на увазі. ІМО вам не потрібно підписуватися на байесівське мислення при використанні байєсівської статистики більше, ніж потрібно підписатися на матричне мислення при виконанні лінійної алгебри або гауссового мислення при використанні нормального розподілу. Я також не кажу , що MLE має слід інтерпретувати як підмножина байєсівської моделі фитинга (навіть якщо вона падає досить природно для мене).

— Rasmus Bååth

3

Ваше питання більше стосується смислової сторони: коли я можу назвати модель "баєсівською"?

Зробіть висновки з цієї чудової статті:

Fienberg, SE (2006). Коли байєсівські умовиводи стали "баєсийськими"? Байєсівський аналіз, 1 (1): 1-40.

є 2 відповіді:

Ваша модель є першою байєсівською, якщо вона використовує правило Байєса (це "алгоритм").
Якщо говорити більше про те, якщо ви виводите (приховані) причини з генеративної моделі вашої системи, то ви байєсів (це "функція").

Дивно, але термінологія «байесівських моделей», що використовується у всьому полі, лише осіла біля 60-х років. Про машинне навчання можна дізнатися багато речей, просто переглянувши його історію!

— meduz
джерело

Ви ніби згадуєте лише одну із «двох відповідей». Може написати щось про обидва?

— Тім

дякую за примітку, я відредагував свою відповідь, щоб розділити дві частини речення.

— meduz