Як відповісти рецензентам, які запитують р-значення в байєсівській багаторівневій моделі?


15

Рецензент нас попросив надати p-значення, щоб краще зрозуміти оцінки моделі в нашій байєсівській багаторівневій моделі. Модель є типовою моделлю множинних спостережень на кожного учасника експерименту. Ми оцінили модель зі Стен, тому можемо легко обчислити додаткову задню статистику. Наразі ми повідомляємо (візуально та в таблицях) про середню оцінку та кванти 0,025 та 0,975.

Моя відповідь поки що включатиме:

  1. Значення P суперечать байесівським моделям, тобто П(Х|θ)П(θ|Х).
  2. Виходячи з заднього, ми можемо обчислити ймовірність того, що параметри будуть більшими (меншими), ніж 0. Це трохи схоже на традиційне p-значення.

Моє запитання, чи це відповідь, яка може задовольнити рецензента, чи це лише спричинить більше сум'яття?


Оновлення 10 жовтня: ми переписали папір із порадами у відповідь на увазі. Стаття прийнята, тому я ще раз зазначу свій коментар, що це була справді корисна порада!


2
Можливо, рецензент запитує звичайні частотаністські p-значення незалежно від вашої байєсівської моделі?
Стефан Лоран

1
Це так очевидно, що я навіть не думав про це. Модель має деякі ускладнення (слабоінформативні пріори, деякі відсутні значення значень пояснювальних змінних), що ускладнює запуск частофілістської версії, але я подумаю про подання звільненої моделі з частотними р-значеннями.
стинь

Відповіді:


13

По-перше, швидке уточнення: Хоча ймовірність насправді не є задньою, значення p не настільки суперечить байєсівському висновку, як звичайно просто інша річ, з усіх причин, через які довірчі інтервали можуть або не можуть відповідати достовірним інтервалам. (Хоча це не обов'язково зовсім інша річ, як показано задньою прогнозною перевіркою, яка дійсно включає р-значення.)

Однак я здогадуюсь, що цей рівень витонченості - це не те, що має на увазі рецензент. Я б здогадувався, що вони просто «знають», що статистичні моделі мають р-значення, тому вони просили їх. Тож залишається питання: як відповісти?

Коли "рецензент хоче X", я вважаю корисним задати собі два пов'язані питання:

  1. Мотивація: Що вони хочуть зробити для них X?

  2. Раціональна реконструкція: Що було б найбільш схожим за звучанням розумним, що вони могли б попросити замість X, якби вони хотіли це зробити?

Тоді дайте їм це замість.

Перевага неосвіченого рецензента (який, тим не менш, може бути розумним і правильним щодо статті), полягає в тому, що вони рідко мають чітке уявлення про те, що вони мають на увазі, коли вони просять X. Це означає, що якщо ви реконструюєте їх, задаючи краще питання, вони ' Будемо задоволені, побачивши, що ви на нього відповіли.

У вашому випадку цілком можливо, що рецензент бажає паралельного періодичного аналізу, хоча я сумніваюся в цьому. Я думаю, що ви хочете працювати з ним - це натяк рецензента, що вони хочуть, щоб р-значення «краще розуміли модель». Я думаю, ваша робота полягає в тому, щоб проаналізувати це таким чином, щоб рецензент звучав мудро. Імовірно, було кілька наступних речень із зазначенням того, що було незрозумілим із паперу. Можливо, у рецензента були якісь ефекти, які не могли бути реконструйовані за вашими маргіналами параметрів, або якісь величини, які б висвітлювали те, що модель скаже про випадки, що їх цікавлять, або відсутність підсумків єдиного числа ...

Якщо ви можете виявити ці проблеми, тоді ви зможете скласти свою відповідь у таких формах (оригінальний запит у квадратних дужках):

"рецензент [вимагає значення p для терміна взаємодії] був стурбований тим, що з нашої презентації було незрозуміло, наскільки A змінюється з B, тому на малюнку 2 ми показуємо ..." або "рецензент запитував [чи можна відхилити гіпотеза, що ефект A дорівнює нулю] про напрямок ефекту A. З таблиці 3 видно, що ця модель дає 99% ймовірність того, що це негативно "або" рецензент замислюється [чи відповідає наша модель значно кращою, ніж модель містить лише A], як наша модель порівняно з такою, що містить лише A. Ми вирішуємо це питання, порівнюючи його з ... за допомогою DIC / обчислення фактора Байєса / показуючи наші умовиводи про A, є надійними для включення B "тощо.

У кожному випадку є близький переклад оригінального запиту та відповідь.

Застереження: здається, що ця стратегія найкраще працює, коли рецензент є експертом з предметних питань і має відносно слабке розуміння статистики. Це не працює з самоідентифікованим статистично вдосконаленим рецензентом, який насправді хоче X, оскільки їм подобаються Xs чи читають про них десь недавно. Я не маю пропозицій щодо останнього.

Нарешті, я настійно рекомендую не говорити нічого навіть слабко релігійного про те, що Байєс є іншою парадигмою, а питання рецензентів не мають сенсу в цьому. Навіть якщо це правда, це робить всіх бурхливих без жодної реальної вигоди.


1
Можливо, буде заманливо зауважити, що p-значення дещо важко визначити у частолістських багаторівневих моделях. Не робіть цього і ;-)
кон'югатприор

4
ПП

Тож ми тоді на одній сторінці. Або це відповідь на @ stéphane-laurent
кон'югатор

Так вибачте, що я цього не зрозумів
Френк Харрелл

@conjugateprior Дякую! Величезна допомога. Я вже зрозумів, що згадка р-значень у багаторівневих моделях буде неприємною. Але мій пункт 1 міг би однаково натрапити на "слабко релігійний", як ви говорите.
стихій
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.