Коли має сенс підхід Фішера "піти отримати більше даних"?

Цитуючи чудову відповідь Гунга

Нібито дослідник одного разу звернувся до Фішера з «незначними» результатами, запитавши його, що йому робити, і Фішер сказав: «Іди, отримай більше даних».

З точки зору Неймана-Пірсона, це кричуще хакерство, але чи є випадки використання, коли підхід Фішера "отримати більше даних" має сенс?$p$

Партигма частолістської форми - це співвідношення поглядів Фішера та Неймана-Пірсона. Тільки при використанні одного підходу та іншої інтерпретації виникають проблеми.

Комусь здасться дивним, що збір більше даних є проблематичним, оскільки більше даних - це більше доказів. Дійсно, проблема полягає не в зборі більшої кількості даних, а у використанні значення $p$ -значення для вирішення цього питання, коли це також є мірою інтересу. Збір додаткових даних на основі $p$ -Value тільки $p$ -hacking , якщо обчислити новий $p$ -значення.

Якщо у вас недостатньо доказів для того, щоб зробити задовільний висновок щодо дослідницького питання, то, будь-ласка, займіться більшою кількістю даних. Однак, визнайте, що ви зараз пройшли стадію NHST свого дослідження, і зосередьтесь натомість на кількісному оцінці ефекту інтересу.

Цікава примітка полягає в тому, що байєси не страждають від цієї дилеми. Розглянемо як приклад:

• Якщо частоліст укладає суттєву різницю, а потім переходить до тесту на еквівалентність, напевно, помилково позитивна норма зросла;
• Байєсий може одночасно виражати інтервал найвищої щільності та область практичної еквівалентності різниці, а вночі спати так само.

З огляду на достатньо великий розмір вибірки, тест завжди покаже значні результати, якщо тільки справжній розмір ефекту не дорівнює рівно нулю, як обговорювалося тут . На практиці справжній розмір ефекту не дорівнює нулю, тому збір більшої кількості даних з часом зможе виявити найбільш незначні відмінності.

Обличкова відповідь Фішера (ІМО) була у відповідь на відносно тривіальне питання, яке, за його переконанням, суперечить «суттєву різницю» з «практично відповідною різницею».

Це було б рівнозначно досліднику, який прийшов до мене в офіс і запитав "Я зважив цю свинцеву вагу з позначкою" 25 грам ", і вона вимірювала 25,0 грама. Я вважаю, що це неправильно позначено, що мені робити?" На що я міг би відповісти: "Отримайте більш точну шкалу".

Я вважаю, що підхід «отримати більше інформації» є доцільним, якщо початковий тест є надзвичайно недостатнім для виявлення різниці, що є практично актуальною.

Спасибі. Тут слід пам’ятати кілька речей:

1. Цитата може бути апокрифною.
2. Цілком розумно отримати більше / кращі дані або дані з іншого джерела (точніший масштаб, пор., Відповідь Underminer ; інша ситуація або елементи управління тощо) для другого дослідження (пор., Коментар @ Glen_b ) . Тобто, ви б не аналізували додаткові дані спільно з вихідними даними: скажімо, у вас було N = 10 з незначним результатом, ви можете зібрати ще одні дані N = 20 та проаналізувати їх поодинці (не тестуючи повних 30 разом ). Якщо цитата не апокрифічна, це міг би мати на увазі Фішер.
3. Філософія науки Фішера була по суті попперійською . Тобто, нуль не обов'язково був відхилитись безперервно, щоб підтвердити свою теорію, але в ідеалі може бути сама ваша теорія, така що відмова означає, що теорія вашого домашнього улюбленця неправильна, і вам потрібно повернутися до креслярської дошки. У такому випадку інфляція помилок типу I не піде на користь досліднику. (З іншого боку, ця інтерпретація перешкоджає Фішеру давати цю пораду, якби він не був сварливим, що не вийшло б із характеру.)
4. У будь-якому випадку, варто зазначити, що причина, яку я включив у цей коментар, полягає в тому, що він ілюструє щось принципове щодо різниці в характері двох підходів.

Те, що ми називаємо P-зломкою, - це тест на значимість кілька разів і лише повідомляти про результати значущості. Добре це чи погано, залежить ситуація.

Для пояснення давайте подумаємо про справжні наслідки в байєсівських термінах, а не нульові та альтернативні гіпотези. Поки ми вважаємо, що наші інтереси викликають постійний розподіл, ми знаємо, що нульова гіпотеза помилкова. Однак у випадку двостороннього тестування ми не знаємо, чи є він позитивним чи негативним. У цьому світлі ми можемо вважати значення р для двосторонніх тестів як міру того, наскільки міцні докази того, що наша оцінка має правильний напрямок (тобто позитивний чи негативний ефект).

$p < \alpha$

Тепер подумайте, що станеться, коли ви продовжуєте повертатися назад, щоб отримати більше даних. Кожен раз, коли ви отримуєте більше даних, ваша ймовірність виправити напрямок, обумовлений достатньою кількістю даних, лише зростає. Отже, під цим сценарієм ми повинні усвідомити, що отримуючи більше даних, хоча ми насправді збільшуємо ймовірність помилки I типу, ми також зменшуємо ймовірність помилкового висновку неправильного напрямку.

Візьміть це на противагу більш типовому зловживанню P-злому; ми перевіряємо 100 розмірів ефектів, які мають велику ймовірність бути дуже маленькими та повідомляємо лише про значні. Зауважте, що в цьому випадку, якщо всі ефекти невеликі, у нас майже 50% шансів помилитися в напрямку, коли ми оголосимо про важливість.

Звичайно, отримані p-значення, отримані з цих даних-подвоєння, все ж повинні надходити із зерном солі. Хоча, як правило, у вас не виникає проблем з тим, що люди збирають більше даних, щоб бути більш впевненими в розмірі ефекту, цим можна зловживати іншими способами. Наприклад, розумний PI може усвідомити, що замість того, щоб зібрати всі 100 точок даних одночасно, вони могли заощадити купу грошей і збільшити потужність, спочатку зібравши 50 точок даних, проаналізувавши дані, а потім зібравши наступні 50, якщо це не суттєво . У цьому сценарії вони збільшують вірогідність того, що напрямок ефекту буде неправильним, обумовленим декларуванням значущості, оскільки вони мають більше шансів отримати неправильний напрямок ефекту з 50 точками даних, ніж зі 100 точками даних.

І нарешті, врахуйте наслідки не отримувати більше даних, коли ми маємо незначний результат. Це означало б, що ніколи не збирайте більше інформації з цієї теми, що насправді не підштовхує науку вперед, чи не так? Одне недостатнє дослідження вбило б ціле поле.

Якщо альтернатива мала невелику апріорну ймовірність, то експеримент, який не зможе відкинути нуль, ще більше зменшить її, зробивши будь-яке подальше дослідження ще менш економічним. Наприклад, припустимо, що апріорна ймовірність дорівнює .01. Тоді ваша ентропія - 0,08 біт. Якщо ймовірність зменшиться до .001, то ваша ентропія зараз .01. Таким чином, продовження збору даних часто не є економічно вигідним. Однією з причин, чому було б рентабельно, було те, що знання є настільки важливим, що навіть решту ентропії .01 варто зменшити.

Ще одна причина, якби апріорна ймовірність була справді великою. Якщо ваша апріорна ймовірність становила більше 50%, то, якщо не відхилити нуль, збільшується ваша ентропія, що робить більш економічним продовження збору даних. Прикладом може бути, коли ви майже впевнені, що є ефект, але не знаєте, в якому напрямку.

Наприклад, якщо ви є агентом контррозвідки і впевнені, що в департаменті є моль, і звузили його до двох підозрюваних, і робите статистичний аналіз, щоб вирішити, який із них, то статистично незначний результат виправдав би збір більше даних.