Чи стверджують, що байєсисти коли-небудь існують випадки, коли їхній підхід узагальнює / збігається з частістським підходом?

12

Чи заперечують Байєси, що їхній підхід узагальнює частістський підхід, тому що можна використовувати неінформативні пріори і, отже, можна відновити типову структуру частолістської моделі?

Чи може хтось направити мене до місця, де я можу прочитати про цей аргумент, якщо він справді використовується?

РЕДАКТУВАННЯ: Можливо, це запитання не точно так, як я мав намір його сформулювати. Питання полягає в тому, "чи є посилання на обговорення випадків, коли байєсівський підхід і частістський підхід перетинаються / перетинаються / мають щось спільне через використання певного попереднього?" Одним із прикладів може бути використання неправильного попереднього , але я впевнений, що це лише верхівка кінчика айсберга. $p(\theta) = 1$

bayesian references frequentist

— сингелтон
джерело

2

Я пам’ятаю, що цей аргумент був викладений у вступі Ґрінберга до байесівської економетрії, але я не впевнений і не впевнений, чи є краща довідка. Далі я вважаю, що це не лише вибір попереднього, але й впевненість у попередньому.

— Джон

3

Є хороший аргумент, що часто відвідувачі узагальнюють підхід Байєса! Це випливає, тому що часто лікарі із задоволенням використовують пріори, коли це виправдано (за теорією чи даними), але крім того, використовують методи, до яких байєси не зачіпають. :-)

— whuber

3

Це абсолютно різні підходи, починаючи від трактування ймовірності (див., Наприклад, посилання ). Крім того, не існує єдиного (ще менш прийнятого) визначення неінформативного попереднього просто тому, що немає унікального (або прийнятого) визначення інформації . Навіть якщо оцінювачі кількісно однакові, інтерпретація частофілістського оцінювача та байєсовського оцінювача відрізняються. Як я вже згадував у попередньому коментарі, "це як би сказати, що апельсини узагальнюють яблука".

1

@Procrastinator Я повністю згоден, що вони не завжди перетинаються. Я шукаю аргументи у випадках, коли вони є. Дозвольте мені переосмислити питання: "чи є посилання на дискусію, де баєсівська статистика та частофілістська статистика так чи інакше перетинаються через використання попереднього?" Одним із прикладів може бути використання неправильного попереднього . Але це справді вершина айсберга, я вважаю.

p (θ) = 1

$p(\theta) = 1$

— singelton

1

@Procrastinator так, дякую! саме такий вид дискусії я шукаю (хоча, я здогадуюсь, це все ще вершина айсберга). Мені просто потрібно знайти книгу, яка робить це все ретельно, і я не зміг її знайти. Я буду продовжувати шукати. знову дякую. (Більшість книг зосереджена або на частофілістському підході, або на байесовском підході, але не порівнюйте те, як ви робили.)

— singelton

11

Я бачив два висунуті аргументи про те, що байєсівський аналіз - це узагальнення періодичного аналізу. І те й інше було дещо язичковим, і все більше змушувало людей усвідомлювати припущення щодо регресійних моделей, використовуючи пріори як контекст.

Аргумент 1: частотний аналіз - байєсівський аналіз з чисто неінформативним попереднім центром нуля (так, не важливо, де його зосереджено, але ігноруйте це). Це дає як контекст, для якого баєс може витягти результати частістського аналізу, пояснює, чому ви можете піти, використовуючи деякі "баєсовські" методики, такі як MCMC, для вилучення частолістських оцінок у ситуаціях, коли, скажімо, максимальна конвергенція ймовірності є жорсткою і отримує люди визнають, що коли вони говорять "Дані говорять самі за себе" тощо, те, що вони насправді говорять, це те, що заздалегідь усі значення однаково ймовірні.

Аргумент 2: Будь-який термін регресії, який ви не включите до моделі, фактично присвоюється попередньо зосередженим на нулі без різниці. Це не стільки "байєсівський аналіз - це узагальнення", скільки "аргументи пріорів скрізь , навіть у ваших частолістських моделях".

— Фоміт
джерело

3

+1 Аргумент 2 цікавий. Два коментарі до Аргументу 1: 1. Я б сказав, що плоскі пріори замість неінформативні (останній є помилковим, якщо колись був). 2. Не потрібно говорити про пріорів, щоб мотивувати використання MCMC у частотному аналізі - в цій чисельній техніці немає нічого притаманного Байєсіану !

— MånsT

дякую EpiGrad Чи є у вас посилання, які обговорюють два аргументи, які ви згадали?

— сингелтон

1

+1 Добре, доки люди зрозуміють, що це мова в щоці, щоб отримати бал навпроти. Але будь ласка, не сприймайте це серйозно!

— Майкл Р. Черник

@ MånsT - домовились про MCMC, що не потребує обґрунтування для використання, але я вважаю, що він існує у свідомості людей як щось у байєсівській царині, а не суто числовий прийом. Це допомагає їх відштовхнути.

— Фоміт

@bayesianOrFrequentist Не дуже.

— Фоміт

6

Коротка відповідь, ймовірно, "так - і вам навіть не потрібна рівномірність до цього аргументу".

Наприклад, оцінка Maximum A Posteriori (MAP) - це узагальнення максимальної ймовірності, що включає попередній, і існують частістські підходи, аналітично еквівалентні знаходженню цього значення. Частолістські релянти "попереднє" як "обмеження" або "покарання" за функцією ймовірності, і отримують ту саму відповідь. Тож часто і баєси можуть вказувати на одне і те ж, що є їх найкращою оцінкою параметрів, навіть якщо філософія відрізняється. Розділ 5 цього періодичного документу - один із прикладів, коли вони рівнозначні.

Більш довга відповідь більше нагадує "так, але часто існують інші аспекти аналізу, які розрізняють два підходи. Тим не менш, навіть ці відмінності не обов'язково піддаються залізо в багатьох випадках".

Наприклад, хоча Bayesians іноді використовують оцінку MAP (задній режим), коли це зручно, вони зазвичай підкреслюють заднє середнє. З іншого боку, заднє середнє значення має також часто-аналогічний аналог, який називають оцінкою "мішок" (від "агрегування завантажувальної програми"), яка може бути майже невідрізною (див. Цей pdf для прикладу цього аргументу). Тож насправді це теж не "важке" розмежування.

На практиці все це означає, що навіть коли частофіліст робить щось, що баєс вважав би абсолютно незаконним (або навпаки), часто існує (принаймні в принципі) підхід з іншого табору, який дав би майже такий самий андсер.

Основним винятком є те, що деякі моделі насправді важко вписати з точки зору частолістських організацій, але це скоріше практичне питання, ніж філософське.

— Девід Дж. Харріс
джерело

дякую Давидові Ваша відповідь корисна. Я також шукаю посилання, яке детально обговорює цю тему. Я хочу побачити, що аргумент байєсів щодо неінформативних пріорів та способів їх зведення до частолістського підходу. Я прекрасно розумію технічний момент, що стоїть за цим (наприклад, якщо ви просто помножите свою ймовірність на 1 ... ви збираєтеся отримати свою ймовірність :-)), але я шукаю більш гідне обговорення.

— singelton

1

Я знаходжу, що багато молодих людей не знають історії або не розуміють суті байєсівської парадигми. Називати це узагальненням частолістського підходу справді неправильно представляє порівняння цих парадигм. Беручи до уваги прокрастинатори і кажучи дещо по-іншому, я б сказав, що це сказати, що яблуко - це просто великий апельсин,

— Майкл Р. Черник

@DavidJHarris Мені не сподобалась ваша відповідь. Технічно стосунки, на які ви вказуєте, є законними, але сказати «так» у короткій відповіді справляє неправильне враження. Я не думаю, що баєси хочуть називати свою парадигму узагальненням статистики частотистів. Терміни повністю байєсівські, емпіричні байєсівські та, можливо, розрізняють парадигми, пов'язані з баєсом, але я думаю, що байєси можуть заперечити називати ці гілки парадигми Байєса

— Майкл Р. Черник

2

@MichaelChernick Point прийнято. Я не мав на увазі підкреслити, що вся байесівська статистика та філософія має близькі аналоги частістів і навпаки, лише те, що часто можна знайти метод, який зможе виконати ту саму роботу з будь-якого табору, і що баєсовський підхід має тенденцію бути більш гнучка з двох. Можливо, я мав би підкреслити, що навіть коли оцінки параметрів, які ви отримуєте від двох шкіл, однакові, їх все одно слід інтерпретувати по-різному, як вказував Прокрастінатор в інших місцях.

— Девід Дж. Харріс

@DavidJHarris. Я погоджуюся з усім, що ви говорите, але виключаю лише використання терміна узагальнення.

— Майкл Р. Черник

3

Едвін Джейнс був одним із найкращих у висвітленні зв’язків між байесівськими та частофілістськими висновками. Його довірчі інтервали у порівнянні з байєсівськими інтервалами (пошук у Google це підводить) як дуже ретельне порівняння - і я вважаю справедливим.

Оцінка малої площі - це ще одна область, де відповіді на ML / REML / EB / HB мають тенденцію бути близькими.

— ймовірністьіслогічна
джерело

2

Багато хто з цих коментарів припускають, що "частість" означає "максимальну оцінку ймовірності". Деякі люди мають інше визначення: "частістський" означає тип аналізу довготривалих інфекційних властивостей будь-якого методу виводу - будь то байєсівський, чи метод моменту, чи максимальна ймовірність, чи щось пов'язане з неімовірнісним терміни (наприклад, SVM) тощо.

— Брендан ОКнорн
джерело

1

Я хотів би почути про це Стефана або якогось іншого байєсівського експерта. Я б сказав, що ні, тому що це інший підхід, а не узагальнення. В іншому контексті про це вже говорилося раніше. Не думайте, що лише тому, що плоскі пріори дають результати, близькі до максимальної ймовірності того, що байєсівський метод з рівнем попередження є частішим! Я думаю, що це було б помилковим припущенням, яке б спонукало вас думати, що, роблячи попередній довільний ви, узагальнюєте інших можливих пріорів. Я не думаю, що так, і я впевнений, що більшість байесів теж не знають.

Тож деякі люди це стверджують, але я не думаю, що їх слід класифікувати як байєсів

хоча Стефан вказував на труднощі із сильною класифікацією. Тож строго кажучи, якщо це слово коли-небудь, я думаю, це може залежати від того, як ви визначаєте байєсів.

— Майкл Р. Черник
джерело

(+1) Вони абсолютно різні підходи. Це як би сказати, що апельсини узагальнюють яблука.

5

Вживання багато апельсинів і жодних яблук не змушує себе так думати.

— Альфред М.

це правда, хоча максимальна ймовірність є однією з небагатьох загальних процедур для проведення частого виводу. Тож він незмінно буде надмірно представлений у загальних дискусіях про частістські методи. Я здивований, що вибірки опитування не згадуються, наприклад, GREG.

— ймовірністьлогічний