Дослідник 1 проводить 1000 регресій, дослідник 2 працює лише 1, обидва отримують однакові результати - чи повинні вони робити різні умовиводи?

Уявіть, що дослідник досліджує набір даних та виконує 1000 різних регресій, і він виявляє одне цікаве відношення між ними.

Тепер уявіть, що інший дослідник з тими ж даними виконує лише 1 регресію, і виявляється, що той самий дослідник взяв 1000 регресій, щоб знайти. Дослідник 2 не знає дослідника 1.

Чи повинен дослідник 1 робити інші умовиводи, ніж дослідник 2? Чому? Наприклад, чи повинен дослідник 1 проводити корекцію кількох порівнянь, але дослідник 2 не повинен?

Якщо дослідник 2 спочатку показав вам свою єдину регресію, які умовиводи ви б зробили? Якщо після цього дослідник 1 показав вам свої результати, ви повинні змінити свої умовиводи? Якщо так, то чому це має мати значення?

PS 1 : Якщо розмова про гіпотетичних дослідників робить проблему абстрактною, подумайте про це: уявіть, що ви провели лише одну регресію для своєї роботи, використовуючи найкращий доступний метод. Тоді інший дослідник досліджував 1000 різних регресій з тими ж даними, поки не виявив той самий регрес, який ви провели . Чи повинні ви двоє робити різні умовиводи? Чи докази однакові для обох справ чи ні? Чи варто змінити своє висновок, якби ви знали результати інших дослідників? Як громадськість повинна оцінювати докази двох досліджень?

PS 2: будь ласка, спробуйте бути конкретними та, якщо можливо, надати математичне / теоретичне обгрунтування!

$1000$

$P (M_k|I_1)=\frac {1}{1000}$$P (M_1|I_2) =1$$M_1$

$M_1$$P (M_1|DI)>>P (M_1|I)$$999$$1$$M_1$$1000$$1000$$0$$p-value <10^{-8}$

$100$$10$$2,000,000$

Немає нічого принципово неправильного у двох людей, які починають з різної інформації та продовжують робити різні висновки після того, як побачили одні й ті самі дані. Однак ... побачення одних і тих же даних зблизить їх за умови, що їх "модельний простір" перекриється і дані підтримують цю "область, що перекривається".

Статистичне тлумачення набагато менш зрозуміле, ніж те, що ви просите, про математичне лікування.

Математика - це про чітко визначені проблеми. Наприклад, катання ідеальних кубиків або малювання кульок з урни.

Статистика застосовується в математиці, де математика дає орієнтир, але не є (точним) рішенням.

У цьому випадку очевидно, що обставини відіграють важливу роль. Якщо ми виконуємо регресію, а потім обчислюємо (математику) деяке значення p, щоб виразити силу, то що таке інтерпретація (статистика) та значення р?

• У випадку 1000 регресій, проведених дослідником 1, результат набагато слабший, оскільки такий тип ситуацій виникає тоді, коли ми насправді не маємо підказки і просто вивчаємо дані. Значення р - це лише показник того, що може щось бути.

  Таким чином, значення p, очевидно, менш варте регресії, виконаної дослідником 1. І якщо дослідник 1 або хтось, хто використовує результати дослідника 1, хотів би щось зробити з регресією, то значення p потрібно виправити. (і якщо ви вважаєте, що різниці між дослідником 1 та дослідником 2 недостатньо, просто подумайте про безліч способів, які дослідник 1 може виправити значення р для кількох порівнянь)

• У випадку єдиної регресії, здійсненої дослідником 2, результат є набагато сильнішими доказами. Але це тому, що регресія не стоїть сама. Ми повинні включити причини, через які дослідник 2 робив лише одну регресію. Це може бути тому, що він мав вагомі (додаткові) причини вже вважати, що одинична регресія є хорошою моделлю для даних.

• Налаштування регресій, виконаних дослідником 1 і 2, сильно відрізняються, і не часто ви стикаєтесь з обома одночасно з однією і тією ж проблемою. Якщо це так, то і те

  • досліднику 2 дуже пощастило

    Це не так вже й рідко, і нам слід краще виправити це при інтерпретації літератури, а також слід покращити публікацію загальної картини досліджень. Якщо є тисяча дослідників, як дослідник 2, і ми побачимо лише один з них, який опублікував успіх, то, оскільки ми не побачили невдач інших 999 дослідників, ми можемо помилково вважати, що у нас не було такого випадку, як дослідник 1

  • Дослідник 1 був не такий розумний і робив неймовірно зайвий пошук регресу, хоча, можливо, з самого початку він знав, що це повинен бути той самий, і він міг би провести більш сильний тест.

    Для сторонніх людей, які розумніші за дослідника 1 (не піклуються про додаткові 999 регресії з самого початку) і читають про роботу, вони можуть дати більше сил на значення результатів, але все-таки не настільки сильні, як він би зробив для підсумок дослідника 2.

    Хоча дослідник 1, можливо, був занадто консервативним, виправляючи 999 зайвих додаткових регресій, ми не можемо ігнорувати той факт, що дослідження проводилися у вакуумі знань, і набагато більше шансів знайти щасливого дослідника типу 1, ніж типу 2.

Цікава пов’язана історія: В астрономії, коли вони планували кращий прилад для вимірювання космічного фону з більшою точністю, існували дослідники, які стверджували лише звільнити половину даних. Це тому, що для збору даних існує лише один знімок. Після того, як всі регресії були виконані десятками різних дослідників (а через неймовірну розмаїтість та креативність теоретика, безумовно, є якась відповідність всім можливим, випадковим, нахилам даних), немає можливості виконати новий експеримент для перевірки (тобто, якщо ви не зможете генерувати цілком новий Всесвіт).

Коротка історія: у нас не вистачає інформації, щоб відповісти на ваше запитання, оскільки ми нічого не знаємо про використані методи або зібрані дані.

Довга відповідь ... Справжнє питання полягає в тому, чи займається кожен дослідник:

• сувора наука
• сувора псевдонаука
• дослідження даних
• драгування даних або p-злом даних

Їх методи визначать силу інтерпретації їх результатів. Це тому, що деякі методи менш звукові, ніж інші.

У суворій науці ми розробляємо гіпотезу, визначаємо заплутані змінні, розробляємо контролі для змінних за межами нашої гіпотези, плануємо методи тестування, плануємо нашу аналітичну методологію, проводимо тести / збираємо дані, а потім аналізуємо дані. (Зверніть увагу, що аналітичні методи плануються до того, як відбудеться тест). Це найбільш суворо, тому що ми повинні прийняти дані та аналіз, які не узгоджуються з гіпотезою. Неприпустимо змінювати методи після факту, щоб отримати щось цікаве. Будь-яка нова гіпотеза з отриманих висновків повинна знову пройти той самий процес.

Під час псевдонауки ми часто беремо дані, які вже зібрані. Етично використовувати це складніше, оскільки легше додати упередженість до результатів. Однак досі можна слідувати науковому методу для етичних аналітиків. Хоча може бути важко встановити належний контроль, і це потрібно вивчити та відзначити.

Дослідження даних не ґрунтується на науці. Конкретної гіпотези немає. Не існує апріорної оцінки заплутаних факторів. Крім того, важко повернутися назад і повторно зробити аналіз, використовуючи ті самі дані, оскільки результати можуть бути пошкоджені попередніми знаннями або моделюванням, і немає нових даних, які можна використовувати для перевірки. Рекомендується жорсткий науковий експеримент для уточнення можливих взаємозв'язків, виявлених в результаті дослідницького аналізу.

Днопоглинання даних або P-злов - це те, коли "аналітик" проводить кілька тестів, сподіваючись на несподівану чи невідому відповідь або маніпулює даними, щоб отримати результат. Результати можуть бути простим збігом обставин, можуть бути результатом заплутаної змінної (ив), а можуть не мати значущих розмірів ефекту чи потужності.

Для кожної проблеми є деякі засоби, але їх потрібно ретельно оцінити.