Чи розпливчасте попереднє те саме, що і попереднє неінформативне?

27

Це питання щодо термінології. Чи "попередній розпливчастий пріоритет" такий самий, як попередній неінформативний характер, чи є якась різниця між ними? Моє враження, що вони однакові (від пошуку розпливчастих та неінформативних разом), але я не можу бути впевненим.

bayesian prior terminology

— байєсівський
джерело

1

Незрозуміло: Так. Неінформативно: Ні

— кардинал

18

Gelman та ін. (2003) кажуть:

Вже давно існує бажання попередніх розподілів, які можуть гарантовано відігравати мінімальну роль у задньому розподілі. Такі розподіли іноді називаються «попередніми попередніми розподілами», а попередня щільність описується як розпливчасті, плоскі або неінформативні . [Наголос від початкового тексту]

Виходячи з мого читання дискусії про пріоритет Джеффріса в Gelman et al. (2003, с.62), немає єдиної думки щодо існування справді неінформативного попереднього, і що достатньо розпливчасті / плоскі / дифузні пріори є достатніми.

Деякі моменти, які вони зазначають:

Будь-яка попередня інформація включає інформацію, включаючи пріори, які стверджують, що інформація не відома.
- Наприклад, якщо ми знаємо, що нічого не знаємо про відповідний параметр, знаємо про нього щось.
У більшості застосованих контекстів немає явної переваги перед справді неінформативним пріоритетом, коли достатньо розпливчастих пріорів достатньо, і в багатьох випадках є переваги, як-от пошук належного попереднього використання, - використання неясного параметризації кон'югату до попереднього.
Принцип Джеффріса може бути корисним для побудови пріорів, які мінімізують інформаційний вміст Фішера в універсальних моделях, але аналога для мультиваріантного випадку немає
Якщо порівнювати моделі, пріоритет Джефріса буде змінюватися залежно від розподілу вірогідності, тому пріорі також доведеться змінити
загалом було багато дискусій щодо того, чи існує ще неінформативний попередній характер (через 1, але також див. дискусію та посилання на ст.66 у Гельмана та ін. для історії цієї дискусії).

зауважте, що це вікі спільноти - основна теорія знаходиться на межах мого розуміння, і я би вдячний за внесок у цю відповідь.

Gelman та ін. 2003 Бейсіанський аналіз даних, Чапман і Холл / CRC

— Давид
джерело

1

Сам Гельман вийшов за межі "неінформативних" пріорів, див., Наприклад, stat.columbia.edu/~cook/movabletype/archives/2007/07/… та статті, на які я посилаюсь у своїй відповіді, та інші його твори. Таке ставлення здається все більш поширеним серед прикладних статистиків.

— JMS

@JMS Gelman та ін. ін. 2003 рік зробив це, і я спробував це узагальнити, вони, здається, розглядають неінформативні пріори для фонових / теоретичних / евристичних цілей

— Девід Лебо

Так, підручник з баєсівської статистики, безумовно, не може їх ігнорувати. Я хотів лише додати, що з тих пір тенденція прикладної статистики полягає в тому, щоб відійти від цих традиційних виборів, хоча робота над "об'єктивним Байєсом" триває

— JMS

Я думаю, що люди, як правило, використовують інформацію двома способами при описі пріорів, в неофіційному сенсі та в інформаційно-теоретичному сенсі. Таким чином, ви можете встановити максимальну ентропію до того, яка містить якомога менше інформації в теоретичному сенсі інформації. Використовуючи цей розподіл, ви (можливо) сигналізуєте, що "ви нічого не знаєте про параметр", це може бути досить інформативно в більш неофіційному сенсі ...

— Rasmus Bååth,

9

Безумовно, ні, хоча вони часто використовуються взаємозамінно. Неясне попереднє (відносно неінформоване, не дуже прихильне до одних значень порівняно з іншими) для параметра насправді може викликати дуже інформативне попереднє значення для якогось іншого перетворення . Це, принаймні, частина мотивації до попереднього Джефріса, який спочатку був побудований як можна неінформативніший. $\theta$ $f(\theta)$

Неясні пріорі також можуть зробити кілька ваших жалюгідних речей для вашої моделі. Зараз класичним прикладом є використання як пріорів щодо дисперсійних компонентів в ієрархічній моделі. $\mathrm{InverseGamma}(\epsilon, \epsilon)$ $\epsilon\rightarrow 0$

Неправильне обмеження попередження дає неправильну задню частину в цьому випадку. Популярною альтернативою було вважати справді малою, що призводить до того, що виглядає майже рівномірно . Але це також призводить до задньої частини, яка майже неправильна, і розміщення моделі та умовиводів зазнали страждань. Для повної експозиції див. Попередні розподіли Гельмана щодо параметрів дисперсії в ієрархічних моделях . $\epsilon$ $\mathbb{R}^+$

Редагувати: @csgillespie (правильно!) Вказує, що я не повністю відповів на ваше запитання. На мій погляд, неінформативний пріоритет - це невиразний, в сенсі, що він не надає переваги одній області простору параметрів над іншою, але при цьому він не повинен викликати інформаційні пріори щодо інших параметрів. Отже, неінформативний пріоритет є невиразним, але розпливчастий попередній обов'язково неінформативний. Одним із прикладів, коли це грає, є вибір байєсівської змінної; "розпливчастий" попередній варіант про ймовірності включення може фактично викликати досить інформативну інформацію про загальну кількість змінних, що входять до моделі!

Мені здається, що пошук справді неінформативних пріорів є кіхотичним (хоча багато хто не погодиться); краще використовувати так звані "слабо" інформаційні пріори (які, я думаю, загалом у певному сенсі розпливчасті). Дійсно, як часто ми нічого не знаємо про розглянутий параметр?

— JMS
джерело

Ваша відповідь дуже приємна, але ви насправді не вказуєте, що таке "неінформативний

— поперед

@cgillespie: Ти маєш рацію, відредаговано :)

— JMS

випливає з останнього абзацу і підтримує кіхотичний характер пошуку: якщо ми знаємо, що нічого не знаємо про параметр, про який йдеться, знаємо про нього щось .

— David LeBauer

Досить! Велика іронія полягає в тому, що багато хто, хто витрачає стільки енергії, перебираючи руки над своїм вибором попереднього, не замислюються двічі, перш ніж скидати ймовірність. Як правило, неправильно визначена ймовірність може спричинити неприємності. Але це зовсім інше питання ...

— JMS

5

Ламберт та ін. (2005) ставлять питання "Наскільки розпливчастий розпливчастий? Модельне дослідження впливу використання розпливчастих попередніх розповсюджень у MCMC за допомогою WinBUGS ". Вони пишуть: "Ми не виступаємо за використання терміна неінформативний попередній розподіл, оскільки вважаємо, що всі пріори вносять певну інформацію". Я схильний погоджуватися, але я точно не знаю байєсівської статистики.

— Бернд Вайс
джерело

2

Це погоджується з моїм суб'єктивним попереднім переконанням, що не існує такого поняття, як неінформативний попередній.

— onestop

@onestop, будь ласка, подумайте про свій внесок у відповідь CW

— David LeBauer

I G (ϵ, ϵ)

$IG(\epsilon, \epsilon)$

ϵ \to 0

$\epsilon \rightarrow 0$

3

Я підозрюю, що "розпливчастий пріоритет" використовується для позначення пріоритету, який, як відомо, кодує невеликий, але ненульовий обсяг знань щодо справжнього значення параметра, тоді як "неінформативний попередній" буде використовуватися для повної ігнорування щодо значення цього параметра. Можливо, це було б використано, щоб показати, що аналіз не був абсолютно об'єктивним.

Наприклад, дуже широкий Гаусс може бути розпливчастим для параметра, де неінформативний попередній буде однорідним. Гауссан був би майже рівним за шкалою інтересів, але все-таки віддав би перевагу одній конкретній цінності трохи більше, ніж будь-якій іншій (але це може зробити проблему більш математично простежуваною).

— Дікран Марсупіал
джерело

тут виникає питання, чи не було б уніформа справді неінформативною? які були б максимум і хв неінформативної форми? Чи буде попереднє неінформативним після перетворення в інший масштаб?

— David LeBauer

1

Уніфіковані пріори не обов'язково неінформативні, і навпаки, це залежить від характеру проблеми. Я думаю, що ідея мінімально інформативного попереднього часто є більш реалістичною, використовуючи групи MAXENT та перетворення для вирішення питання про попередній розподіл, який передає мінімальний обсяг інформації, що відповідає відомим обмеженням (наприклад, що попереднє має бути інваріантним для масштабування). Для багатьох проблем неправильні пріорі працюють добре, тому не обов'язково потрібно чітко визначити мінімум та максимум.

— Дікран Марсупіал

2

Неінформативні пріори мають різні форми. Ці форми включають розпливчасті пріори та неправильні пріори. Тож розпливчастий пріоритет є частиною неінформативних пріорів.

— користувач26652
джерело