Розуміння Гельмана та Карліна "Поза потужністю: ..." (2014)

Я читаю Гельмана та Карліна "Поза межами обчислень потужності: Оцінка помилок типу S (знак) та типу M (величина)" (2014). Я намагаюся зрозуміти головну ідею, основний зліт, але я розгублений. Хтось може допомогти мені перегнати суть?

У статті йде щось подібне (якщо я правильно це зрозумів).

• Статистичні дослідження в психології часто зазнають невеликих зразків.
• За умови статистично значущого результату в даному дослідженні,
  (1) справжній розмір ефекту, ймовірно, буде сильно завищений, і
  (2) ознака ефекту може бути протилежною з великою ймовірністю - якщо тільки розмір вибірки не буде досить великим.
• Вищезазначене показано, використовуючи попередню здогадку про розмір ефекту в популяції, і зазвичай цей ефект вважається невеликим.

Моя перша проблема полягає в тому, чому умова на статистично значущий результат? Чи слід відображати упередженість видання? Але це, мабуть, не так. То чому ж тоді?

Друга моя проблема - якщо я роблю дослідження самостійно, чи слід ставитися до своїх результатів інакше, ніж я звикла (я займаюсь частою статистикою, не дуже знайома з байесівською)? Наприклад, я б взяв зразок даних, оцінив модель і записав би бальну оцінку для деякого ефекту інтересу та довіри навколо нього. Чи варто мені тепер довіряти своєму результату? Або я повинен недовіряти йому, якщо він є статистично значущим? Як будь-яка задана попередня зміна цього?

Що є основним виводом (1) для "виробника" статистичних досліджень та (2) для читача прикладних статистичних робіт?

Список літератури:

• Гельман, Ендрю та Джон Карлін. "Поза межами обчислень потужності: Оцінка помилок типу S (знак) та типу M (величина)." Перспективи психологічної науки 9.6 (2014): 641-651.

PS Я думаю, що для мене новим елементом є включення попередньої інформації, до якої я не впевнений, як ставитися (виходячи з парадигми частолістів).

Я перечитав папір і цього разу здається набагато зрозумілішим. Тепер також корисні коментарі @Glen_b та @amoeba мають багато сенсу.

Вся дискусія ґрунтується на вихідній точці, що отримано статистично значимий результат. За умови цього, у нас розмір оцінюваного ефекту розподіляється інакше, ніж це було б відсутнє обумовлення: Здається, ця стаття стосується двох проблем:

1. Упередженість публікацій (публікуються лише статистично значущі результати) та
2. Зміщення в проектних розрахунках для нових досліджень (беручи занадто великі розміри очікуваного ефекту в якості орієнтирів).

Хороша новина в тому, що обидві проблеми можна вирішити задовільно.

1. З огляду на очікуваний розмір очікуваного ефекту , орієнтовний розмір ефекту (якщо припустити, що він був опублікований, оскільки він був статистично значущим, а в іншому випадку він не був би опублікований), розрахункова стандартна помилка та сімейство розподілу (напр., нормальне чи студентське ) оцінювача, ми можемо відстежити безумовний розподіл розміру ефекту .$\beta^{plausible}$$\hat\beta$$s.e.(\hat\beta)$$t$$P_{\hat\beta}(\cdot)$
2. Використовуючи попередні висновки, за допомогою 1. можна визначити розмір правдоподібного ефекту та використати у проекті дослідження.$\beta^{plausible}$

Щоб коротко відповісти на два мої власні питання:

1. Йдеться про упередженість публікацій, хоча не в сенсі днопоглиблення даних, а в контексті недостатньо досліджених досліджень; є статистично значущий результат, ймовірно, належить до, скажімо, 5% відхилень під нулем (таким чином, нуль насправді є правдою, але ми випадково опинилися далеко від неї випадково), а не відхилення під альтернативою (де null не вірно, і результат "справжній").
2. Мені слід бути обережним щодо відхилення нуля, оскільки статистично значимий результат, швидше за все, буде обумовлений випадковістю (навіть якщо шанс обмежений, скажімо, 5%), а не "справжнім" ефектом (через низьку потужність) .

У цьому документі є ще один кут, який може бути корисним, якщо ви вже застосовуєте байєсівський аналіз і не піклуєтесь про частину статистичної значущості.

$P$$\beta$$V$$\beta$

$V$$V$$p(V | \beta)$

$\beta^{plausible}$$P(V | \beta)$$\beta = \beta^{plausible}$$V$$\beta^{plausible}$ - справжній розмір ефекту.

$V$$\beta$

$V$$V$

$\beta$$\beta^{plausible}$

$\beta^{plausible}$

$\beta^{plausible}$

Ви повинні бути обережними, щоб ніхто не зловживав цією метрикою "потужності", як це те саме, що і частофілістський розрахунок потужності, що досить важко. Але всі ці показники є досить корисними для перспективного та ретроспективного аналізу дизайну, навіть коли вся процедура моделювання є байєсівською і не стосується жодного результату статистичної значущості.