Слабо інформативні попередні розподіли для параметрів шкали

Я використовую звичайні розподіли журналу як попередні розподіли для параметрів масштабу (для звичайних розподілів, t розподілів і т. Д.), Коли маю грубе уявлення про те, яким повинен бути масштаб, але хочу помилитися, сказавши, що я не знаю багато про це. Я використовую його, тому що таке використання має для мене інтуїтивний сенс, але я не бачив, щоб інші його використовували. Чи є приховані небезпеки для цього?

Я б рекомендував використовувати "бета-розподіл другого роду" (бета-версія ₂ ) для м'яко інформативного розподілу та використовувати кон'югований зворотний розподіл гами, якщо у вас є сильні попередні переконання. Причиною, про яку я кажу, є те, що попередній кон'югат є неміцним в тому сенсі, що якщо конфлікт між даними та даними, то пріоритет має необмежений вплив на задній розподіл. Така поведінка - це те, що я б назвав "догматичним", а не виправдане м'якою попередньою інформацією.

Властивістю, яка визначає стійкість, є поведінка хвоста попереднього та ймовірного. Дуже хороша стаття, в якій викладені технічні деталі, тут . Наприклад, може бути обрана ймовірність (скажімо, t-розподіл), така що, як спостереження (тобто стає довільно великим), вона відкидається від аналізу параметра розташування (майже так само, як ви інтуїтивно зрозуміли б робити з таким спостереженням). Швидкість «відкидання» залежить від того, наскільки важкі хвости розподілу.$y_i \rightarrow \infty$

Деякі слайди, які показують застосування в контексті ієрархічного моделювання, можна знайти тут (показує математичну форму розподілу Beta ₂ ), з документом тут .

Якщо ви не перебуваєте в контексті ієрархічного моделювання, я б запропонував порівняти задній (або будь-які результати, які ви створюєте), але скористайтеся Jeffreys попередньо для параметра масштабу, який задається . Це може бути створено як обмеженнящільностіBeta_2,оскільки обидва його параметра сходяться до нуля. Для наближення ви можете використовувати малі значення. Але я б спробував розробити рішенняаналітично,якщо це взагалі можливо (а якщо не повне аналітичне рішення, отримайте аналітичне рішення настільки далеко, наскільки це можливо), тому що ви не тільки заощадите собі деякий обчислювальний час, але ви також, можливо, кращезрозумієте,що відбувається у вашій моделі.$p(\sigma)\propto\frac{1}{\sigma}$

Наступною альтернативою є визначення вашої попередньої інформації у вигляді обмежень (середнє значення , відхилення, рівне V , IQR, рівне I Q R і т. Д. Зі значеннями M , V , I Q R, визначеними власноруч), а потім використовуйте максимальний розподіл ентропії (шукайте будь-яку роботу Едвіна Джейнеса або Ларрі Бретторста, щоб добре пояснити, що таке "Максимальна ентропія", а що ні ") стосовно" інваріантної міри "Джеффріса m ( σ ) = $M$$V$$IQR$$M,V,IQR$ . $m(\sigma)=\frac{1}{\sigma}$

MaxEnt - це версія "Rolls Royce", тоді як Beta ₂ - це більше "седан". Причиною цього є те, що розподіл MaxEnt "приймає найменше" з урахуванням обмежень, які ви вклали в нього (наприклад, жодних обмежень означає, що ви просто отримаєте Jeffreys раніше), тоді як розподіл Beta ₂ може містити деякі "приховані" функції, які може бути або не бажаним у вашому конкретному випадку (наприклад, якщо попередня інформація є більш достовірною, ніж дані, то бета-версія ₂ погана).

Інша приємна властивість розподілу MaxEnt полягає в тому, що якщо в механізмі генерування даних немає визначених обмежень, то розподіл MaxEnt є переважно найбільш імовірним розподілом, яке ви побачите (ми говоримо, що шанси перевищують мільярди і трильйони до одного). Отже, якщо дистрибутив, який ви бачите, не є MaxEnt, то, ймовірно, є додаткові обмеження, які ви не вказали, працюючи над істинним процесом, і спостережувані значення можуть дати підказку щодо того, яким може бути цей обмеження.

У наступному документі Даніельса порівнюються різні пріори усадки за дисперсією. Це належні пріори, але я не впевнений, скільки можна назвати неінформативними, якщо такі є. Але він також пропонує список неінформативних пріорів (не всіх належних). Нижче наведено посилання.

MJ Daniels (1999), попередник дисперсії в ієрархічних моделях , канадський Дж. Стат. , т. 27, ні. 3, с. 567–578.

Пріори

1. $K$
2. $\tau^{-2}$
3. $\tau^{-1}$
4. $1/(\sigma^2 + \tau^2)$
5. Правильні Джеффрі :$\sigma / (2(\sigma^2 + \tau^2)^{3/2})$
6. Рівномірна усадка :$\sigma^2 / (\sigma^2 + \tau^2)$
7. DuMouchel :$\sigma/(2\tau(\sigma+\tau)^2)$

Ще один останній документ у спорідненій формі - наступний.

А. Гельман (2006), Попередні розподіли параметрів дисперсії в ієрархічних моделях , Байєсовий аналіз , т. 1, ні. 3, с. 515–533.

(Питання застаріле, але питання не)

Особисто я думаю, що ваша інтуїція має певний сенс. Тобто, якщо вам не потрібна математична охайність поєднання, то який би розподіл ви не використовували для параметра розташування, ви повинні використовувати той самий для журналу параметра масштабу. Отже, що ви говорите: використовуйте еквівалент звичайного попереднього.

Ви б фактично використовували звичайний попередній параметр місцезнаходження? Більшість людей скажуть, що, якщо ви не зробите дисперсію величезною, це, мабуть, трохи "занадто догматично", з причин, пояснених в інших відповідях тут (необмежений вплив). Виняток буде, якщо ви робите емпіричні баїси; тобто використовуючи ваші дані для оцінки параметрів вашого попереднього.

Якщо ви хочете бути "слабоінформативними", ви, мабуть, обрали б розподіл із жирними хвостами; очевидними кандидатами є т розподіли. Останній рада Gelman, здається, використовувати при df 3-7. (Зверніть увагу, що посилання також підтримує мою пропозицію про те, що ви хочете зробити те саме, що і для журналу масштабу, який ви зробили б для розташування) Отже, замість лонормального, ви можете використовувати log-student-t. Для цього в квартирі ви можете зробити щось на кшталт:

real log_sigma_y; //declare at the top of your model block
//...some more code for your model
log_sigma_y <- log(sigma_y); increment_log_prob(-log_sigma_y);
log_sigma_y ~ student_t(3,1,3); //This is a 'weakly informative prior'.

Однак я вважаю, що якщо код вище занадто складний для вас, ви, ймовірно, могли б відійти з лонормальним попередником, з двома застереженнями. По-перше, зробіть цю дисперсію в кілька разів ширшою, ніж ваша груба здогадка про те, наскільки "ви не впевнені"; ви хочете слабко інформативний попередній, а не сильно інформативний. І по-друге, як тільки ви підходите до вашої моделі, перевірте задню медіану параметра і переконайтесь, що журнал його не надто далеко від центру логіки. "Не надто далеко", ймовірно, означає: менше двох стандартних відхилень і, бажано, не набагато більше одного SD.

Для параметрів шкали ієрархічної моделі я в основному використовував пропозицію Ендрю Гелмана щодо використання складеного нецентрального розподілу. Це працювало для мене досить пристойно.