Помилковість техаського стрільця в дослідницькому аналізі даних

Я читав цю статтю в "Природі", в якій деякі помилки пояснюються в контексті аналізу даних. Я помітив, що помилок техаських стрільців було особливо важко уникнути:

Пізнавальна пастка, яка чекає під час аналізу даних, ілюструється байкою техаського стрільця: невмілий стрілець, який вистрілює випадковим малюнком кульок збоку від сараю, малює ціль навколо найбільшого куля отворів кулі і гордо вказує на його успіх.

Його бичне око, очевидно, смішно - але помилка не така очевидна для азартних гравців, які вірять у «гарячу руку», коли у них є виграш, або для людей, які бачать надприродне значення, коли розіграш лотереї припадає на всі непарні числа.

І це завжди очевидно для дослідників. "Ви просто отримуєте певне заохочення від даних, а потім думаєте, ну це шлях, який потрібно пройти вниз", - каже Пашлер. "Ви не розумієте, що у вас було 27 різних варіантів, і ви вибрали той, який дав найприємніші чи найцікавіші результати, і тепер ви займаєтесь тим, що зовсім не є об'єктивним представленням даних. "

Я думаю, що такі розвідувальні роботи є звичними явищами, і часто гіпотези будуються на основі тієї частини аналізу. Існує цілий підхід ( EDA ), присвячений цьому процесу:

Джон Тукі сприяв дослідницькому аналізу даних, щоб заохотити статистиків вивчати дані та, можливо, сформулювати гіпотези, які можуть призвести до нового збору даних та експериментів

Схоже, що будь-який дослідницький процес, здійснений без попередньої гіпотези, схильний створювати помилкові гіпотези.

Зауважте, що опис ЗНО вище насправді говорить new data collection and experiments. Я розумію, що після того, як будуть зібрані нові дані, тоді підходить підтверджуючий аналіз даних (CDA). Однак я не думаю, що це розмежування зроблено дуже чітко, і хоча розділення EDA і CDA було б ідеальним, але, безумовно, є деякі обставини, в яких це неможливо. Я б хотів сказати, що дотримуватися цього розмежування суворо є рідкістю, і більшість практикуючих не підпадають під парадигму ЗНО.

Отож, моє запитання таке: чи зробить EDA (або будь-який неофіційний процес дослідження даних) більш шансовим на те, що потрапила в помилку техаського стрільця?

Якщо хтось розглядає роль EDA суворо як генеруючу гіпотезу, то жодна помилкова помилка не застосовується. Однак дуже важливо, щоб наступні підтверджуючі випробування були справді незалежними. Багато дослідників намагаються «узгодити відмінності» з такими речами, як об'єднані аналізи, метааналізи та байєсівські методи. Це означає, що принаймні деякі докази, представлені в такому аналізі, включають "коло навколо випадкових отворів кулі".

Це малює дуже негативне бачення дослідницького аналізу даних. Хоча аргумент не є помилковим, він насправді говорить: "що може піти не так, коли я дуже важливо використовую інструмент неправильно?"

Прийняття нерегульованих p-значень від методів EDA призведе до сильно завищених показників помилок типу I. Але я думаю, що Тукі не був би задоволений тим, хто це робить. Сенс EDA полягає не в тому, щоб робити остаточні висновки про співвідношення даних, а в тому, щоб шукати потенційні нові стосунки в даних, які слід переглянути.

Відмова від цього кроку в більшому науковому процесі по суті перешкоджає науці ніколи не в змозі знайти нові цікаві аспекти наших даних, поза чистим логічним виведенням. Коли-небудь намагайтеся логічно вивести, як над експресією набору генів вплине виживання клітини? Підказка: це не дуже просто (один з наших улюблених анекдотів серед співробітників біоінформатики на моїй роботі був, коли фізик запитав "Чому ви просто не імітуєте фізичні властивості різних взаємодій генів? Це простір з кінцевими параметрами".

Особисто я думаю, що плутанина з цього приводу може призвести до значного уповільнення наукового прогресу. Я знаю занадто багато нестатистичних дослідників, які заявляють, що вони не хочуть робити процедури ОВР за попередніми даними, оскільки вони «знають, що ЗНО може бути поганим».

На закінчення абсолютно вірно, що використання методів EDA та трактування їх як підтверджуючих методів аналізу даних призведе до недійсних результатів. Однак відсутність належного використання EDA може призвести до майже ніяких результатів.

Схоже, що будь-який дослідницький процес, здійснений без попередньої гіпотези, схильний створювати помилкові гіпотези.

Я хотів би загартувати це твердження і висловити його трохи інакше: Вибір гіпотези для тестування на основі даних підриває тест, якщо не використовувати правильну нульову гіпотезу. Основна стаття статті "Природа" по суті полягає в тому, що аналітикам легко зауважити, що вони ігнорують усі численні порівняння, які вони неявно роблять під час дослідження.

Природа цитує Ендрю Гелмана, але не згадує його статтю з Еріком Локеном про цю тему. Уривок:

Коли висловлюються критичні зауваження щодо декількох зіставлень стосовно деяких робіт, які ми тут обговорюємо, дослідники ніколи не відповідають, що вони достроково обрали всі деталі їх обробки та аналізу даних; швидше, вони стверджують, що вони взяли лише один аналіз для конкретних даних, які вони бачили . Як інтуїтивно зрозуміла ця захист, вона не стосується фундаментальної частолістської турботи про багаторазове порівняння.

Ще:

Справа не в тому, що дослідники проводили сотні різних порівнянь та відбирали ті, які були статистично значущими. Швидше, вони починають з дещо сформованої думки про те, яке порівняння виконувати, і вони уточнюють цю ідею з огляду на дані. Вони побачили візерунок червоного та рожевого, і вони поєднували кольори.

Коротко:

Існує суцільне відображення від наукових до статистичних гіпотез.

І ще один, наголос мій:

У всіх обговорених нами випадках опублікований аналіз містить історію, яка відповідає науковим гіпотезам, що мотивували роботу, але інші моделі даних (які, враховуючи розміри вибірки, могли легко виникнути випадково), природно призвели до різні аналізи даних (наприклад, орієнтація на основні ефекти, а не на взаємодії або інший вибір наборів даних для порівняння), які однаково могли бути використані для підтримки гіпотез дослідження. Результатом залишається, як ми писали десь, свого роду машина для створення та оприлюднення випадкових зразків.

Одним словом, не так, що EDA призводить до "хибної гіпотези"; це те, що тестування гіпотези з тим самим набором даних, що спонукало гіпотезу, може призвести до помилкових висновків.

Якщо вам цікаво перемогти цю перешкоду, у Гельмана є ще один документ, який стверджує, що багато з цих проблем зникають у байєсівських рамках, а папір з Локеном посилається на "реплікацію перед публікацією", як анекдотично описану в першому розділі цього документу .

Майже за визначенням, так, звичайно, EDA без CDA приваблює техаських гострих піктограм.

$p$$p$

Просто на додаток до вже чудових відповідей: Існує середина між повною CDA і прийняттям результатів EDA за номіналом. Виявивши можливу особливість, що цікавить (або гіпотезу), ви можете зрозуміти її надійність, виконавши перехресну перевірку (CV) або моделювання завантажувального завантаження. Якщо ваші висновки залежать лише від кількох ключових спостережень, то CV або Bootstrap покажуть, що багато зразків складок (CV) або boostrap не відтворюють спостережувану особливість.

Це не дурний метод, але це хороша проміжна перевірка перед тим, як отримати повний CDA (або цілеспрямовано провести "набір перевірки" з вашого початкового пулу даних).

Найсуворішим критерієм вибору моделі даних є ступінь, наближений до Колмогорова Складність даних - тобто ступінь, до якого він без втрат стискає дані. Теоретично це може бути результатом лише дослідницького аналізу даних.

Див. " Причинно-деконволюція алгоритмічними генеративними моделями "