"Повністю баєзійський" проти "байєсівський"

20

Я дізнався про байєсівську статистику, і часто читав у статтях

"ми застосовуємо байєсівський підхід"

чи щось подібне. Я також помічала, рідше:

"ми застосовуємо повністю байєсівський підхід"

(мій акцент). Чи є різниця між цими підходами в будь-якому практичному чи теоретичному сенсі? FWIW, я використовую пакет MCMCglmmв R на випадок, коли це доречно.

bayesian

— Джо Кінг
джерело

6

Я не думаю, що "повністю байєсівський" має суворе значення.

— Стефан Лоран

4

@Stephane Я майже впевнений, що повністю баєсійський такий самий, як баєський, але прикметник повністю використовується, щоб підкреслити, що це не емпіричний Байес.

— Майкл Р. Черник

1

@Michael це має сенс, але я все ще думаю, що значення не є універсальним, і це, мабуть, підтверджується кількома різними відповідями на питання. Я не був би здивований, що деякі люди говорять про "повністю байєсівський", щоб сказати, що вони використовують суб'єктивне попереднє, а не неінформативне. Можлива інша ситуація, коли люди використовують "баєсово-частістський прогнозний розподіл", а потім переходять до суто байєсівського підходу.

— Стефан Лоран

@ Стефан, я приймаю твою думку. Я думаю, ви працюєте в баєвійській статистиці більше, ніж я, і тому, напевно, чули, що люди використовують цей термін різними способами. Принаймні моя відповідь є химерною і частково правильною.

— Майкл Р. Черник

@MichaelChernick так, ваша відповідь - приклад псевдо-байесівського підходу проти справжнього байєсівського підходу, але є й інші подібні ситуації

— Stéphane Laurent

19

Термінологія "повністю байєсівський підхід" - це не що інше, як спосіб вказувати на те, що людина переходить від "частково" байєсівського підходу до "справжнього" байєсівського підходу, залежно від контексту. Або відрізнити "псевдо-байєсівський" підхід від "суворо" баєсівського підходу.

Наприклад, один автор пише: "На відміну від більшості інших зацікавлених авторів, які зазвичай використовували емпіричний підхід Байєса для RVM, ми застосовуємо повністю байєсовський підхід", оскільки емпіричний підхід Байєса є "псевдобайєсівським" підходом. Існують і інші псевдо-байесівські підходи, такі як байєсівсько-часті предсказательное розподіл (розподіл, кванти якого відповідають межі частотних інтервалів передбачення).

На цій сторінці представлено кілька пакетів R для байєсівського висновку. MCMCglmm представлений як "повністю байєсівський підхід", оскільки користувач повинен вибрати попередній розподіл, всупереч іншим пакетам.

Інший можливий сенс "повністю байєсівського" - це коли байєсівський висновок, отриманий з байєсівської теорії рішень, тобто отриманий від функції втрат, оскільки байєсівська теорія рішень є міцною основою для байєсівського висновку.

— Стефан Лоран
джерело

Дякую за це. дякую, тож пакет MCMCglmm"повністю байєсівський" не має нічого спільного з використанням MCMC для отримання оцінок, і все-таки це було б повністю байєсівським, якщо я повинен вказати попереднє, з якого аналітичні дані можна було б знайти? Вибачте, якщо моє запитання не має сенсу - я все ще новачок, але намагаюся вчитися!

— Джо Кінг

1

MCMC - це лише техніка, яка корисна для моделювання заднього розподілу в байєсівській статистиці. Але це не має нічого спільного з самим байєсівським підходом.

— Стефан Лоран

13

Я думаю, що термінологія використовується для розмежування байєсівського підходу та емпіричного підходу Байєса. Full Bayes використовує заданий попередній час, тоді як емпіричний Bayes дозволяє оцінити попереднє за допомогою даних.

— Майкл Р. Черник
джерело

Дякую ! Я також бачив "емпіричний Байєс", згаданий тут і там, але він ніколи не стикався з речами, які я читав, до того моменту, коли мені довелося серйозно задуматися про те, що це означає. Я щойно переглянув сторінку вікіпедії, яка говорить, що вона також відома як "максимальна гранична ймовірність" та "наближення до повністю байєсівського трактування ієрархічної моделі Байєса". Гммм, якщо чесно, я не дуже розумію, що є на цій сторінці :(

— Джо Кінг,

@JoeKing Є багато цікавого та важливого використання емпіричних методів Байєса. Ідея сходить до Герберта Роббінса у 1960-х. У 1970-х роках Ефрон і Морріс показали, що оцінка Джеймса-Штейна багатоваріантної нормальної середньої величини та інших подібних оцінювачів усадки є емпіричними Байесами. У своїй новій книзі, присвяченій великій шкалі, Бред Ефрон показує, як емпіричні методи Байєса можна використовувати для проблем, які іноді називають малими n великими p, оскільки багато гіпотез щодо параметрів тестуються відносно невеликими розмірами вибірки (тобто p може бути набагато більшим thaan n ). Це придумано мікроматриці.

— Майкл Р. Черник

1

Ще раз дякую вам. Я мушу визнати, що я не розумію всього того, що ви написали, але я буду використовувати це як мою відправну точку для подальшого вивчення цього питання.

— Джо Кінг

9

"Баєсійський" насправді означає "приблизний баєсівський".

"Повністю баєзійський" також означає "приблизний баєсівський", але з меншим наближенням.

Редагувати : Уточнення.

p (θ ∣ Дані) \propto p (Дані ∣ θ) p (θ) .

$p(\theta \mid \text{Data}) \propto p(\text{Data} \mid \theta)p(\theta) \>.$

θ

$\theta$

— Арек Патерек
джерело

Дякую. Я прочитав тут, що MCMCglmmпакет, який я використовую, є повністю байєсівським. Це тому, що він використовує MCMC разом із пріоритетом для параметрів?

— Джо Кінг

@Arek Я насправді не переконаний. Отже, коли я використовую стандартний кон'югат до того, я є "більш ніж повністю" баєсом? І чому ви стверджуєте, що бальна оцінка менш "точна", ніж заднє моделювання?

— Стефан Лоран

1

@ StéphaneLaurent Я не стверджую, що оцінка точок завжди менш точна. Де вчорашні коментарі до моєї відповіді?

— Арек Патерек

1

@ArekPaterek Ваша коротка відповідь виглядала як жарт, тому такі коментарі, які не стосуються вашої переглянутої відповіді, не стосуються переглянутої. Тож я здогадуюсь, що модератор, ймовірно, їх видалив. Все ще називати Байєсовим приблизним викликає спантеличення.

— Майкл Р. Черник

1

Можливо, мій перший не видалений коментар був незрозумілим. Якщо відповідь Арека була правильною, то як нам називати ситуацію, коли можливо мати точний задній розподіл (наприклад, простий кон'югат попередньої ситуації)? Байєсівський підхід "більш ніж повний"?

— Стефан Лоран

8

Я б використовував "повністю байєсівський", щоб означати, що будь-які параметри нюансу були маргіналізовані в результаті аналізу, а не оптимізовані (наприклад, оцінки ПДЧ). Наприклад, модель процесу Гаусса з гіпер-параметрами, налаштованими на максимізацію граничної ймовірності, була б баєсовою, але лише частково, тоді як якби гіпер-параметри, що визначають функцію коваріації, були інтегровані з використанням гіпер-попереднього, це було б повністю байєсівською .

— Дікран Марсупіал
джерело

4

Це здається дещо більш загальною відповіддю. Чим більше маргіналізованих кількостей, а не оптимізованих, тим більш "байєсівським" є рішення. Емпіричний Байєс - особливий випадок.

— кон'югатпріор

Так, відповідь Майкласа лише незначне; По суті оптимізація принципово не байєсівська.

— Дікран Марсупіал

3

Як практичний приклад:

Я роблю баєсівське моделювання за допомогою сплайнів. Поширена проблема зі сплайнами - це вибір вузлів. Однією з популярних можливостей є використання схеми зворотного стрибка Маркова Монте-Карло (RJMCMC), де пропонується додати, видалити або перемістити вузол під час кожної ітерації. Коефіцієнти для сплайнів - це оцінки найменшої площі.

Безкоштовні вузли сплайнів

На мою думку, це робить його "частково байєсівським", оскільки для "повністю байєсівського" підходу пріори повинні бути розміщені на цих коефіцієнтах (і нові коефіцієнти, запропоновані під час кожної ітерації), але тоді оцінки найменших квадратів не працюють для RJMCMC схему, і все стає набагато складніше.

— Глен
джерело

(+1) Я не розумію вашої ситуації, але, здається, це ситуація псевдо-байєсівського підходу

— Stéphane Laurent

1

Я додав би характеристику, про яку досі не згадувалося. Повністю байєсівський підхід "повністю" поширює невизначеність у всіх невідомих кількостях через теорему Байєса. З іншого боку, псевдобайські підходи, такі як емпіричний Байєс, не поширюють усі невизначеності. Наприклад, при оцінці задніх прогнозних величин повністю байєсівський підхід використовує задню щільність невідомих параметрів моделі для отримання прогнозного розподілу для цільового параметра. Підхід EB не враховував би невизначеність у всіх невідомих - наприклад, деякі з гіперпараметрів можуть бути встановлені на певні значення, таким чином, недооцінюючи загальну невизначеність.

— user67724
джерело