Об'єктивна проти суб'єктивної байєсівської парадигми


12

Яка різниця між об'єктивними та суб'єктивними байєсівськими парадигмами?
Які об’єкти чи процедури вони по-різному визначають чи інтерпретують?
Чи є різниця у їх виборі методів?


1
+1 Моє враження - яке насправді не є авторитетним - полягає в тому, що, будучи "об'єктивним", Байєс схильний співвідноситись з автоматичними рецептами пошуку пріорів, подібних до Джефріса, а "суб'єктивні" дозволяють своїм приватним переконанням диктувати вибір попереднього. Можливо, це так і є, але я в цьому навіть менш впевнений - що для колишньої групи більше шансів побачити дискусію про "істинний" параметр і про те, чи є якийсь оцінювач "близьким" до нього.
Крістоф Ганк

1
@ChristophHanck, дякую за ваш внесок. Я сподіваюся, що хтось знаючий може скласти хороший підсумок / огляд та опублікувати його як відповідь, тоді ми побачимо, як ваші бали вміщуються.
Річард Харді

1
Я також трохи заплутаний у тому, чи стосується тут об'єктивного емпіричного (навчання раніше за такими даними, як ARD / SBL), або об'єктивного в тому сенсі, що це дає однакові результати для частолістських результатів.
бумкін

1
@boomkin, AFAIK є школи думки, які ототожнюють себе з "суб'єктивними байєсами" та "об'єктивними байєсами". Я хотів би знати їх основні ідеї та відмінності між першим та останнім. Навчання за попередніми даними - це особливість, яку обидва можуть чи не можуть поводитись по-різному.
Річард Харді

2
+1, але я вважаю, що краще не використовувати термін «байєсівський» як номіналізований прикметник. Прикметник «баєсівський» класифікує методи, а не люди. Поміщення статистиків у помилкову дихотомію, "як би дотримуючись лише однієї і лише однієї школи думки з кількох шкіл думки", може створити труднощі у відповіді на питання. Це може бути хитромудрий питання, на який не можна відповісти, оскільки воно в першу чергу є «неправильно» (використовуючи неправильну передумову про існування байєсів).
Секст

Відповіді:


3

Це стає ще більш заплутаним тим, що існує клас "суб'єктивізму", коріння якого відбувається заздалегідь від експертів, і саме ця зміна повинна ретельно вписуватися у філософську категоризацію парадигм. Я спробую внести деяку чіткість до цього питання, виклавши кілька різних способів, в яких «суб’єктивізм» часто трактується, а потім викладу широкі сфери згоди між байєсами та сфери, де є розбіжність у філософському та практичному підходах. Я сподіваюся, що будуть інші, хто не погодиться з моїми власними поглядами на це, але сподіваюся, це дає хороший вихідний пункт для чіткого обговорення.


Слабкий суб'єктивізм: У цій інтерпретації термін "суб'єктивний" вживається в його слабшому значенні, що означає лише те, що ймовірність інкапсулює раціональні переконання суб'єкта. (Деякі люди, такі як я, вважають за краще використовувати для цього поняття термін "епістемічний", оскільки він фактично не потребує суб'єктивності в більш сильному розумінні.)

Сильний суб'єктивізм: У цій інтерпретації термін "суб'єктивний" вживається в його більш сильному значенні, тобто слабкий суб'єктивізм має перевагу, і, крім того, у віри суб'єкта немає будь-якого зовнішнього "об'єктивного" обґрунтування (тобто, два чи більше різних суб'єкта можуть бути різними вірування, і жодне не вважалося б більш-менш помилковим, ніж інші).


У байєсівському аналізі, як правило, виходить, що обраний розподіл вибірки має об'єктивне обґрунтування, що ґрунтується на деякому розумінні механізму вибірки. Однак рідко є будь-яка доступна інформація, що стосується цього параметра, окрім даних вибірки. Це породжує три широкі парадигми в байєсівській статистиці, які відповідають різним способам визначення попереднього розподілу.

Суб'єктивна байєсівська парадигма: ця парадигма погоджується зі слабким суб'єктивізмом, і надалі стверджується, що будь-який набір імовірнісних переконань однаково справедливий. Поки суб’єкти використовують байєсівські оновлення для нових даних, законним є використання будь-яких попередніх. Відповідно до цієї парадигми, попередній не потребує об'єктивного обґрунтування. У цій парадигмі основну увагу приділяється розкриттю раніше використовуваного, а потім показує, як це оновлюється новими даними. У цьому методі прийнято включати аналіз чутливості, що показує заднє переконання в межах ряду попередніх переконань.

Об'єктивна байєсівська парадигма:Ця парадигма також погоджується зі слабким суб'єктивізмом, але вважає за краще додатково обмежувати попередні переконання (перед включенням будь-яких даних), щоб вони об'єктивно були "неінформативними" щодо параметра. У цій парадигмі пріоритет повинен точно відображати відсутність доступної інформації, що стосується параметра, поза даними. Зазвичай це передбачає прийняття певної теорії щодо того, як встановити попереднє (наприклад, реферати Джефрі, Джейнса, Бернардо, еталони тощо). Ця парадигма стверджує, що набір імовірнісних переконань слід віддати перевагу, якщо він базується на попередній вірі, яка об'єктивно є визначені та неінформативні щодо параметрів у проблемі, що цікавить. Він погоджується, що будь-який набір імовірнісних переконань відповідає критеріям раціональності, що лежать в основі байєсівського аналізу, але вважає переконання, що базуються на "поганих" пріорах (занадто інформативні щодо невідомого параметра) як гірші, ніж на основі "хороших" пріорів. У цій парадигмі пріоритет вибирається з деякого неінформативного класу, а потім оновлюється новими даними, щоб отримати об'єктивну відповідь на проблему.

Байєсівська парадигма попереднього експерта:Цей метод часто розглядають як частину суб'єктивної парадигми і зазвичай його не ідентифікують окремо, але я вважаю це окремою парадигмою, оскільки в ній є елементи кожного погляду. Ця парадигма погоджується зі слабким суб'єктивізмом, але подібно до об'єктивної байєсівської парадигми вона не розглядає всіх пріорів як однаково справедливих. Ця парадигма трактує представників «пріорів» як позиторів з попереднього життєвого досвіду, і тому вважає попередні переконання експертів з предметів вищою за попередні переконання неекспертів. Він також визнає, що ці переконання, ймовірно, ґрунтуються на даних, які систематично не фіксувались, і не ґрунтуються на систематичному використанні теорії ймовірностей, тому неможливо розкласти ці існуючі пріоритети експертів на оригінальні неінформативні попередні дані та дані що цей експерт зауважив. (І справді, за відсутності систематичного використання теорії ймовірностей, теперішній експерт "попереднього", ймовірно, навіть не відповідає байєсівському оновленню.) У цій парадигмі "суб'єктивна" думка експерта трактується як цінна інкапсуляція предметних знань, яка трактується як примітивний пріоритет. У цій парадигмі аналітик прагне викликати експерта заздалегідь через тести попередньої віри, а потім пріоритет формулюється як найкраще підходить до цього переконання експерта (дбаючи про те, щоб переконання експерта не було забруднене знаннями сучасності дані). Таким чином, "суб'єктивна" віра експерта трактується як "об'єктивна" інкапсуляція предметних знань з попередніх даних. ) У цій парадигмі "суб'єктивна" думка експерта трактується як цінна інкапсуляція знань з предмету, яка трактується як примітивний поперед. У цій парадигмі аналітик прагне викликати експерта заздалегідь через тести попередньої віри, а потім пріоритет формулюється як найкраще підходить до цього переконання експерта (дбаючи про те, щоб переконання експерта не було забруднене знаннями сучасності дані). Таким чином, "суб'єктивна" віра експерта трактується як "об'єктивна" інкапсуляція предметних знань з попередніх даних. ) У цій парадигмі "суб'єктивна" думка експерта трактується як цінна інкапсуляція знань з предмету, яка трактується як примітивний поперед. У цій парадигмі аналітик прагне викликати експерта заздалегідь через тести попередньої віри, а потім пріоритет формулюється як найкраще підходить до цього переконання експерта (дбаючи про те, щоб переконання експерта не було забруднене знаннями сучасності дані). Таким чином, "суб'єктивна" віра експерта трактується як "об'єктивна" інкапсуляція предметних знань з попередніх даних. а потім попереднє формулюється як найкраще відповідне переконанням експертів (дбаючи про те, щоб переконання експертів не були забруднені знаннями цих даних). Таким чином, "суб'єктивна" віра експерта трактується як "об'єктивна" інкапсуляція предметних знань з попередніх даних. а потім попереднє формулюється як найкраще відповідне переконанням експертів (дбаючи про те, щоб переконання експертів не були забруднені знаннями цих даних). Таким чином, "суб'єктивна" віра експерта трактується як "об'єктивна" інкапсуляція предметних знань з попередніх даних.

Відмінності методу: З точки зору методу, об'єктивна байєсівська парадигма відрізняється від суб'єктивної парадигми настільки, як перша обмежує допустимі пріори (або до унікального попереднього, або до дуже малого класу подібних пріорів), тоді як остання не обмежує допустиме пріори. У об'єктивному байєсівському підході пріоритет обмежується теоріями представлення "неінформативного" попереднього. Парадигма попередніх експертів застосовує інший підхід і замість цього визначає одного або декількох людей, які є експертами, та висловлює їхні попередні переконання.


Як тільки ми зрозуміємо цей різний сенс різних парадигм у байєсівській статистиці, ми можемо викласти деякі сфери широкої згоди та сфери, де існує незгода. Насправді, незважаючи на відмінності в методі, існує більше згоди щодо базових теорій, ніж зазвичай оцінюється.

Широка згода щодо слабкого суб'єктивізму: Існує велика література в байєсівській статистиці, що показує, що "аксіоми" ймовірності можуть бути отримані з попередніх дезідератів, що стосуються раціонального прийняття рішень. Сюди входять аргументи, що стосуються динамічної послідовності віри (див., Наприклад, Епштейн та Ле Бретон 1993 ), аргументи, що апелюють до теорії нідерландських книг (див., Наприклад, Lehmann 1955 , Hajek 2009). Басейси всіх цих парадигм в цілому погоджуються з тим, що ймовірність слід інтерпретувати епістемічно, як посилання на переконання суб'єкта, обмежені обмеженнями раціональності, властивими аксіомам імовірності. Ми погоджуємось, що слід використовувати правила ймовірності, щоб стримувати переконання щодо невизначеності, щоб бути раціональним. Це означає, що переконання щодо невизначеності вимагають оновлення Байєса на тлі нових даних, але це не накладає жодних додаткових обмежень (тобто, без іншого, це не говорить про те, що будь-який попередній показник кращий, ніж будь-який інший попередній). Усі три вищевказані парадигми погоджуються з цим.

Існує широка згода, що для пріорів існують приблизно "об'єктивні" правила, які ви бажаєте використовувати :Існує велика кількість літератури в байєсівській статистиці, яка показує, як можна розробити "неінформативні" пріори, які грубо визначаються проблемою вибірки, і приблизно відображає відсутність знань про відповідний параметр. Я кажу "приблизно", тому що тут є кілька конкуруючих теорій, які іноді відповідають, але іноді незначно відрізняються (наприклад, Джеффрі, Джейн, референтні приори, класи Уоллі неточних пріорів тощо), а також можуть виникнути деякі хитрі парадокси. Найскладнішим питанням є те, що важко зробити «неінформативним» попереднє значення для безперервного параметра, який може бути підданий нелінійним перетворенням (оскільки «неінформативність» в ідеалі повинна бути інваріантною перетворенням). Знову ж таки, це теореми ймовірності, і всі парадигми узгоджуються з їх змістом. Об'єктивна баєзія схильна розглядати цю теорію як достатньо хорошу, що дає перевагу приорам, тоді як суб'єктивні байєси і байєси-попередники, які вважають теорією, як правило, вважають цю теорію недостатньою для встановлення переваги цих пріорів. Іншими словами, існує широка згода на те, що ці об'єктивні правила існують і можуть бути використані, але існують розбіжності щодо того, наскільки вони хороші.

Існує розбіжність з приводу важливості отримання єдиної відповіді: Об'єктивна байєсія мотивована перевагою того, що статистична проблема з фіксованими даними та фіксованою функцією ймовірності повинна призвести до однозначно визначеної задньої віри (або принаймні невеликої кількості допустимих задних переконань які відрізняються дуже мало). Це перевагу, як правило, є частиною більш широкої переваги щодо наукових процедур, які дають однозначну відповідь, коли застосовуються до фіксованих наборів об'єктивних умов. І навпаки, і суб'єктивні байєси, і байєси-попередники експертів вважають, що це не особливо важливо, і вони, як правило, вважають, що ця спрямованість на однозначно визначений задник насправді вводить в оману.

Існує широка думка, що громадськість недостатньо знайома з байесівськими афішами: усі парадигми погоджуються з тим, що широка громадськість недостатньо знайома з основними механізмами того, як байєсівський аналіз переходить від попереднього до заднього. Об'єктивні байєзці іноді переживають, що давання більш ніж однієї допустимої відповіді на заднє буде заплутати людей. Суб'єктивні байєси переживають, що якщо не дати більш ніж одну допустиму відповідь на задній, вводить людей в оману.



Дякую за таку об’ємну та красномовну відповідь! Тож схоже, що пріори - це головне коріння розбіжностей. Є те, що його? Чи є розбіжності / варіації щодо, скажімо, визначення / тлумачення ймовірності? Або що означає параметр бути випадковою змінною? Я забув включити це до ОП, але чи не могли б ви включити кілька імен, які можна більш-менш чітко віднести до певної парадигми? Я знаю, що не всіх статистиків можна помістити в ту чи іншу скриньку, але у кожному таборі повинні бути батьки-засновники або поточні віддані прихильники.
Річард Харді

Корінь розбіжності, безумовно, полягає у бажаності / небажаності об'єктивних висновків (тобто, унікальних, близьких до унікальних), та обсягу того, що є «добрим» попереднім. Я не думаю, що це якась ширша розбіжність щодо тлумачення ймовірності чи значення випадкової величини. На моє розуміння, майже всі байєси погоджуються з епістемічною інтерпретацією. Оскільки більшість основ парадигм покладено в теоремах, де немає місця для розбіжностей щодо дійсності, єдині розбіжності полягають у цінності та бажаності різних методів.
Бен - Відновлення Моніки

Для огляду всього, дивіться "Біблію" (Бернардо і Сміт 2001, Байєсова теорія). Суб'єктивна байєсівська парадигма - див., Наприклад, Савідж, Ліндлі, Голдштейн. Об'єктивна байєсівська парадигма - див., Наприклад, Бернардо, Бергер, Джейн, Джеффріс. Парадигма думок експертів - еклектична суміш авторів, але, можливо, дивіться, наприклад, Choi, Sun. Також варто почитати Уоллі про неточний байєсівський аналіз, який використовує фіксовані класи пріорів і фактично є об'єктивною категорією.
Бен -

Дуже дякую! Мені пощастило, що я потрапив до тебе у своїй справі.
Річард Харді

3
+1 Приємна відповідь. Одне, що, здається, відсутнє - це згадка про "емпіричні методи Байєса", де попереднє оцінюється з самих даних. Я вважаю, що це має бути цілком окрема категорія разом із вашими суб'єктивними пріорами, об'єктивними (інакше неінформативними) пріорами та експертами.
амеба каже, що
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.