Чи нормально спочатку підходити байєсівська модель, а потім починати ослаблювати пріори?

Роблячи частоту статистику, існує довгий список великих нотаток, як-от переглядати результати статистичних тестів, перш ніж вирішити збирати більше даних. Мені цікаво взагалі, чи є подібний перелік "no-no" для методологій, що беруть участь у байєсівській статистиці, і конкретно, чи є наступна з них.

Нещодавно я зрозумів, що для деяких моделей, до яких я підходив, мій процес спочатку підходив до моделі з інформативними пріорами, щоб побачити, чи працює вона чи підірветься, а потім послаблює пріори або до неінформативної, або слабоінформативної, і переобладнати модель.

Моя мотивація до цього насправді пов’язана з тим, що я пишу ці моделі в JAGS / Stan, і на мою думку я розглядав це більше як завдання програмування, ніж статистичне. Отже, я роблю перший пробіг, подібний на таке, щоб швидко сходитись, використовуючи інформативні пріори, полегшуючи вловлювання помилок у написаній нами моделі. Потім, після налагодження моделі, я поновлюю її неінформативними або слабоінформативними пріоріями.

Моє запитання - чи порушую я чи ні серйозні правила в цьому процесі. Наприклад, щоб мої умовиводи були дійсними, і щоб уникнути використання ступеня свободи дослідників, чи потрібно мені брати на себе зобов’язання перед конкретними пріорами, перш ніж починати підганяти будь-які моделі?

Суб'єктивні байєси можуть не погодитися, але, з моєї точки зору, пріоритет є лише частиною моделі, як імовірність. Зміна попереднього у відповідь на поведінку моделі не є кращою чи гіршою, ніж зміна функції ймовірності (наприклад, спробу різних розподілів помилок або різних модельних формулювань).

Це може бути небезпечно, якщо він дозволить вам вирушити в риболовну експедицію, але альтернативи можуть бути і гіршими. Наприклад, у випадку, про який ви згадали, де ваша модель вибухає і ви отримуєте безглузді коефіцієнти, у вас не буде великого вибору, як спробувати знову.

Також є кроки, які ви можете вжити, щоб дещо звести до мінімуму небезпеку риболовних експедицій:

• Заздалегідь визначившись, який ви будете використовувати в остаточному аналізі
• Будьте впевнені, коли публікуєте або описуєте свій аналіз щодо всієї процедури
• Якнайбільше робити з імітованими даними та / або тримати дані для остаточного аналізу. Таким чином, ви не будете занадто забруднити свій аналіз.

Якщо ви експериментуєте з пріорами і вибираєте один з погляду його ефективності на даних, які вони є, це вже не "пріоритет". Це не тільки залежить від даних (як в емпіричному аналізі Байєса), але і залежить від того, що ви хочете побачити (що гірше). Зрештою, ви використовуєте байєсівські інструменти, але це не можна назвати байєсівським аналізом.

Я думаю, що в цьому випадку ти добре з трьох причин:

1. Ви насправді не коригуєте своїх пріорів у відповідь на ваші результати. Якщо ви сказали щось на кшталт: "Я використовую пріори XYZ, і залежно від швидкості конвергенції та результатів DIC, я змінюю свій попередній ABC", тоді я б сказав, що ви вчинили "ні-ні", але в цьому випадку це звучить так, що ви насправді цього не робите.

2. У байєсівському контексті пріори явні. Таким чином, ви можете підправити свої пріори неправильно, але результатні пріори завжди будуть помітні для огляду іншими, хто може запитати, чому у вас є ці конкретні пріори. Можливо, я тут наївний, оскільки легко поглянути на щось на кшталт попереднього і сказати: «Хм, виглядає розумним» просто тому, що хтось це запропонував, але ...

3. Я думаю, що те, що ти робиш, пов’язане з порадою Гельмана (та інших) щодо створення моделі JAGS по черзі, спочатку працюючи з синтетичними даними, а потім реальними даними, щоб переконатися, що у вас немає помилки специфікації . Це насправді не є фактором частотистської методології, і це насправді не експериментальна методологія.

Потім знову я все ще вчуся цим предметам.

PS Коли ви говорите, що ви спочатку налаштовуєте її на швидку конвергенцію з "інформаційними пріорами", ви маєте на увазі фактично інформативні пріори, мотивовані наявною проблемою, або просто пріорі, які з довільних причин сильно натискають / обмежують задній, щоб прискорити "конвергенцію "до якоїсь довільної точки? Якщо це перший випадок, чому ви тоді відходите від цих (вмотивованих) пріорів?

Я думаю, що це може бути незалежно від байесівської школи. Джеффрі хотів би використовувати неінформативні пріори. Ліндлі може захотіти використовувати інформативні пріори. Емпіричні байєси просять, щоб ви дозволили даним впливати на попереднє. Але я думаю, хоча кожна школа робить різні пропозиції щодо вибору попереднього, всі вони мають підхід, який не означає, що ви можете взяти попередній і продовжувати налаштовувати його, поки не отримаєте потрібних результатів. Це, безумовно, було б як подивитися на дані і покластися на збір даних і тестування, поки ви не досягнете свого попереднього уявлення про те, якою має бути відповідь.

Часто, або байєсів, це не має значення, я не думаю, що хтось захоче, щоб ви грали в трюки з (або масажували) дані. Можливо, це те, з чим ми всі можемо погодитися, і кумедна поема Петра справді апропо.

Я б сказав, що ні, вам не потрібно брати на себе зобов’язання конкретних пріорів. Як правило, під час будь-якого аналізу даних Байєса слід виконати аналіз чутливості моделі до попереднього. Це включало б намагання різних інших пріорів побачити, що відбувається з результатами. Це може виявити кращий або надійніший до того, який слід використовувати.

Два очевидних "ні-ні" - це: пограти з попереднім занадто сильно, щоб краще підходити, в результаті чого надмірно підійде і змінити інші параметри моделі для кращої форми. Як приклад першого: зміна початкового попереднього на середнє, щоб воно було ближче до середнього зразка. По-друге: змінення пояснювальних змінних / особливостей в регресії для кращого пристосування. Це проблема в будь-якій версії регресу і в основному позбавляє ваших ступенів свободи.