Як окремий дослідник повинен думати про помилковий показник виявлення?

Я намагався обернути голову навколо того, як частота помилкового виявлення (FDR) повинна повідомляти висновки окремого дослідника. Наприклад, якщо ваше дослідження недостатньо, чи варто знижувати результати, навіть якщо вони значущі при ? Примітка. Я говорю про FDR в контексті вивчення результатів численних досліджень у сукупності, а не як про метод багаторазових виправлень.$\alpha = .05$

Здійснюючи (можливо, щедро) припущення, що перевірених гіпотез насправді є правдою, FDR є функцією як коефіцієнтів помилок I типу, так і типу II:$\sim.5$

Цілком очевидно, що якщо дослідження є недостатньо підданим , ми не повинні довіряти результатам, навіть якщо вони є вагомими, настільки ж, як і результатам дослідження, що має належну силу. Отже, як би сказали деякі статистики , є обставини, за яких, "у перспективі" ми можемо опублікувати багато вагомих результатів, які є помилковими, якщо дотримуватися традиційних вказівок. Якщо комплекс досліджень характеризується послідовно недостатніми дослідженнями (наприклад, література про взаємодію кандидатських генів навколишнього середовища попереднього десятиліття ), можна підозрювати навіть тиражувані значні результати.$\times$

Застосування пакетів R extrafont, ggplot2і xkcd, я думаю , що це може бути корисно осмислюється як питання про перспективу:

З огляду на цю інформацію, що повинен робити далі окремий дослідник ? Якщо я здогадуюсь, яким повинен бути розмір ефекту, який я вивчаю (і, отже, оцінка , з огляду на мій розмір вибірки), чи повинен я відрегулювати рівень α до FDR = 0,05? Чи повинен я публікувати результати на рівні α = .05, навіть якщо мої дослідження недостатньо отримані та залишати розгляд FDR споживачам літератури?$1 - \beta$$\alpha$$\alpha = .05$

Я знаю, що це тема, яку часто обговорювали як на цьому веб-сайті, так і в статистичній літературі, але я не можу знайти консенсусу думок з цього питання.

EDIT: У відповідь на коментар @ amoeba, FDR може бути отриманий із стандартної таблиці обставин помилок типу I / типу II (вибачте за її неподобство):

|                            |Finding is significant |Finding is insignificant |
|:---------------------------|:----------------------|:------------------------|
|Finding is false in reality |alpha                  |1 - alpha                |
|Finding is true in reality  |1 - beta               |beta                     |

Отже, якщо нам представлено значну знахідку (стовпець 1), то ймовірність того, що вона насправді помилкова, є альфа над сумою стовпця.

$(1 - \beta)$

$p$

Натомість важливо забезпечити доступність усіх досліджень, не враховуючи рівня потужності або значних результатів. Насправді, шкідлива звичка публікувати лише значні та приховувати несуттєві результати призводить до упередженості публікації та пошкоджує загальний облік наукових результатів.

Таким чином, окремий дослідник повинен провести дослідження відтворюваним способом, зберігати всі записи та реєструвати всі експериментальні процедури, навіть якщо такі дані не запитують у видавничих журналах. Він не повинен надто турбуватися про низьку потужність. Навіть неінформативний результат (= нульова гіпотеза не відхилений) додав би більше оцінок для подальших досліджень, доки можна собі дозволити достатню якість самих даних.

$p$$p$$p$

$\alpha$$\alpha=.05$

$\alpha$

$p<0.05$$p\approx 0.05$$p$$p\ll 0.05$$p$-значення знову було б крихітним).

$\alpha$

Це насправді глибоке філософське питання. Я сам дослідник і певний час думав над цим. Перш ніж відповісти, давайте перевіримо, що саме є помилковим виявленням.

FDR проти P P - це просто міра ймовірності сказати, що є різниця, коли взагалі немає різниці і не враховує потужність. З іншого боку, FDR враховує владу. Однак, щоб розрахувати FDR, ми повинні зробити припущення: яка ймовірність того, що ми отримаємо справжній позитивний результат? Це те, до чого ми ніколи не матимемо доступу, за винятком сильно надуманих обставин. Я фактично говорив про це нещодавно під час семінару, який я провів. Слайди ви можете знайти тут .

Ось це фігура з Девіда Colquhoun в роботі по темі:

Швидкість виявлення помилок обчислюється діленням кількості помилкових позитивних результатів на суму справжніх і хибних позитивних (наприклад, 495 / (80 + 495) х 100% = 86%!

Ще трохи на P

Погляньте уважно на слайди з моєї лекції. Я обговорював той факт, що значення P виходять із розподілу. Що означає, що завжди буде шанс, що ви знайдете помилковий позитив. Тому статистичну значимість не слід розглядати як абсолютну правду. Я стверджую, що щось, що є статистично значущим, слід трактувати так: "Гей, тут може бути щось цікаве, я не впевнений, хтось перевірить двічі!" Отже, фундаментальне поняття відтворюваності в дослідженні!

Отже ... що ми робимо? Ну, цікавий момент щодо наведеної вище фігури та мого аналізу P та FDRs полягає в тому, що єдиний спосіб, коли ми можемо досягти чіткого розуміння, - це через 1) відтворюваність та 2) опублікування всіх результатів. Це включає негативні результати (навіть якщо негативні результати важко інтерпретувати). Однак висновки, які ми робимо на основі результатів, повинні бути відповідними. На жаль, багато читачів та дослідників не повністю розуміють поняття Р та ФДР. Я вважаю, що відповідальність за читачів є належним чином проаналізувати результати ... а це означає, що в кінцевому рахунку тягар лягає на плечі освітян. Зрештою, значення P 0,000000001 є безглуздим, якщо "поширеність" (див. Рисунок вище) дорівнює 0 (у такому випадку показник помилкового виявлення становив би 100%).

Як дослідник видавничої справи, будьте обережні, щоб повністю зрозуміти свої результати та висловлювати претензії лише настільки сильно, наскільки ви хочете. Якщо виявиться, що FDR для вашого конкретного дослідження становить 86% (як на прикладі вище), то вам слід бути дуже обережними щодо своїх інтерпретацій. З іншого боку, якщо FDR досить малий для вашого комфорту .... все ж будьте уважні до своїх інтерпретацій.

Сподіваюся, тут все було зрозуміло. Це дуже важлива концепція, і я радий, що ви підняли дискусію. Повідомте мене, якщо у вас є якісь питання / проблеми / тощо.

Щоб зрозуміти взаємозв'язки, я створив цей графік FDR як функцію попередньої ймовірності для різних повноважень (з альфа = 0,05). Зверніть увагу на цей графік, і рівняння @Buckminster обчислює FDR для всіх результатів з P менше, ніж альфа. Графік виглядав би інакше, якби ви вважали лише значення Р дуже близькими до значення Р, яке ви спостерігали в одному дослідженні.

Запропонувати публікацію - це рішення. Я думаю, що варто вивчити, які переваги та витрати пов'язані з цим рішенням.

1) Академічне середовище загалом підштовхує дослідників публікувати більше, вважаючи, що різні рейтинги публікацій впливатимуть і на цей запис. Ми можемо припустити, що більш престижні журнали можуть мати більш надійну перевірку якості (я сподіваюся, що так).

2) Можуть виникнути соціальні витрати, пов'язані із занадто великим виробництвом видань. Ці ресурси можна краще використовувати деінде, як у прикладних дослідженнях, без публікації результатів. Нещодавно вийшла публікація, що багато публікацій не є важливими як джерела, оскільки велика кількість нових публікацій настільки велика ... :)

http://arxiv.org/pdf/1503.01881v1.pdf

Для того, щоб окремий дослідник номер один змусив публікувати більше, і я думаю, що повинні бути інституціоналізовані перевірки якості, які не залежать від окремих народів, щоб підтримувати якість на прийнятому рівні.

У будь-якому випадку значення ваших параметрів не є фактами, вони повинні бути задані значеннями, враховуючи різні витрати та вигоди, пов'язані з кількістю опублікованих результатів, коли результати справді і / або помилково значущі.