Коли (якщо взагалі колись) це гарна ідея зробити пост-спеціальний аналіз потужності?

Я розумію, що аналіз потужності є пост-хоком, якщо і лише якщо він використовує розмір спостережуваного ефекту як розмір ефекту цільової сукупності.

power-analysis

— user1205901 - Відновити Моніку
джерело

Відповіді:

У моєму полі я бачу людей, які роблять післямобільний аналіз потужності, коли мета статті полягає у тому, щоб показати, що деякий ефект, який можна було б очікувати присутності (або через попередню літературу, здоровий глузд тощо), не є, принаймні відповідно до якогось тесту на значимість.

Однак у цих ситуаціях дослідник дещо пов'язує - можливо, він отримав незначний результат або тому, що ефекту дійсно немає у популяції, або через те, що дослідження було недостатньо потужним для виявлення ефект, навіть якби він був присутній. Мета аналізу потужності полягає в тому, щоб показати, що, враховуючи навіть тривіально малий ефект на популяцію, дослідження мало б високу ймовірність виявити цей ефект.

Конкретний приклад використання використання спеціального аналізу потужності див. У цьому зв'язаному документі.

— Патрік С. Форшер
джерело

Це, звичайно, звучить розумно. Виходячи з вашої відповіді, я б зробив висновок, що іноді є вагомі підстави зробити пост-спеціальний аналіз потужності. Це є випадком, коли існує якийсь чудовий метод, який би показав, що, враховуючи навіть тривіально малий популяційний ефект, дослідження мало б велику ймовірність виявити цей ефект. Чи знаєте ви про такий спосіб?

— user1205901

Я думаю, що цей метод - це саме післямобільний аналіз потужності. Я вважаю, що одним із альтернативних методів може бути використання байєсівських методів замість тестів Гірготези Пірсона, але в моїй галузі (психологія) тестування гіпотез Пірсона все ще є домінуючою статистичною парадигмою.

— Патрік С. Форшер

Існує величезна проблема з описаним підходом. Засоби завжди різні через варіацію вибірки, тому практично будь-який тест міг би виявити навіть тривіально малий ефект за великої вибірки (збільшити свій n до 99999999999 і все може бути суттєвим). Також у випадку відхиленої гіпотези я не зовсім впевнений, але ймовірно, що "отримана потужність" буде <0,5 завжди (або, в більшості випадків, принаймні). Отже, це завжди призвело до висновку, що вибірки було недостатньо.

— Бруно

α

$\alpha$

Ви завжди можете обчислити ймовірність того, що дослідження дало б значний результат для заданого розміру ефекту апріорі. Теоретично це слід робити до того, як буде проведено дослідження, оскільки немає сенсу проводити дослідження з низькою потужністю, що має низький шанс отримати значний результат при наявності ефекту. Однак ви також можете обчислити потужність після дослідження, щоб зрозуміти, що дослідження мало низьку потужність або, мабуть, велику потужність для виявлення навіть невеликого ефекту.

Термін пост-хок або спостережувана потужність використовується для аналізу потужності, що використовують розміри спостережуваних ефектів у вибірці для обчислення потужності, припускаючи, що розмір спостережуваного ефекту є розумною оцінкою справжнього розміру ефекту. Багато статистиків зазначають, що спостережувана потужність в одному дослідженні не є дуже інформативною, оскільки розміри ефектів не оцінюються з достатньою точністю, щоб бути інформативними. Зовсім недавно дослідники почали досліджувати спостережувану силу для ряду досліджень, щоб вивчити, наскільки потужні дослідження в середньому, і чи можуть дослідження давати більш значні результати, ніж фактична потужність досліджень могла б виправдати.

https://replicationindex.wordpress.com/tag/observa-power/

— Доктор Р
джерело

Отже, @ Dr-r, як хтось може звернутися до першого згаданого виду дослідження? Чи є для цього правильна назва? Я використовував функцію "пост-хок" G * Power, але використовував апріорний розмір ефекту. Причина, по якій я це роблю, полягає в тому, що спочатку я планував використовувати середню різницю і «здогадався» середнє відхилення, і вони сильно відрізняються від отриманих. Крім того, я не зміг досягти запланованого розміру вибірки в обох групах. Я не хочу вживати термін "пост-хок" у своїй роботі, тому що люди можуть помилитися. Отже, чи є у вас якісь пропозиції?

— Бруно