Дані “розвідка” порівняно з даними “сноупінг” / “катування”?

Я багато разів наштовхувався на неофіційні застереження щодо "прослідковування даних" (ось один кумедний приклад ), і я думаю, що маю інтуїтивне уявлення приблизно про те, що це означає, і чому це може бути проблемою.

З іншого боку, "аналіз дослідницьких даних" видається цілком поважною процедурою в статистиці, принаймні, судячи з того, що книга з такою назвою все ще шановно називається класикою.

У своїй роботі я часто стикаюся з тим, що мені схоже на нестримне "переслідування даних", або, можливо, це було б краще описано як " тортури даними ", хоча ті, хто це робить, здаються такою ж діяльністю, як цілком розумне і безпроблемне "розвідка" ".

Ось типовий сценарій: проводиться дорогий експеримент (без особливої ​​думки, що надається для подальшого аналізу), оригінальні дослідники не можуть легко розрізнити "історію" в зібраних даних, хтось запрошений застосувати якусь "статистичну майстерність", а хто , після того, як в будь-який інший спосіб нарізає та підбиває дані, нарешті вдається витягти з нього якусь оприлюднюючу "історію"

Звичайно, зазвичай є деяка «валідація», яка кидається у підсумковому звіті / документі, щоб показати, що статистичний аналіз збільшується, але кричуще ставлення щодо публікації за всіма витратами все це залишає мене сумнівною.

На жаль, моє обмежене розуміння результатів та недоліків аналізу даних не дозволяє мені виходити за рамки таких невиразних сумнівів, тому моя консервативна відповідь полягає в основному нехтування такими висновками.

Я сподіваюсь, що не тільки краще розуміння відмінності між розвідкою та підкосом / тортурами, але, і що ще важливіше, краще розуміння принципів та прийомів виявлення, коли ця лінія була перекреслена, дозволить мені оцінити такі висновки в спосіб, який розумно може пояснити менш оптимальну аналітичну процедуру, і, таким чином, зможе вийти за рамки моєї нинішньої досить простої реакції на невіру ковдри.

EDIT: Дякую всім за дуже цікаві коментарі та відповіді. Судячи з їх змісту, я думаю, що, можливо, я недостатньо добре пояснив своє запитання. Я сподіваюся, що це оновлення прояснить питання.

Моє питання тут стосується не стільки те , що я повинен зробити , щоб уникнути мучать мої дані (хоча це питання , який також мене цікавить), а скоріше: як я повинен ставитися (або оцінити) результати , які я знаю , за те , були прибутку через такі "катування даних".

Ситуація стає цікавішою у тих (набагато рідших) випадках, коли, крім того, я маю можливість висловити думку щодо таких «висновків» ще до того, як вони надійдуть до публікації.

На даний момент найбільше, що я можу зробити, це сказати щось на кшталт "Я не знаю, скільки довіри я можу надати цим висновкам, враховуючи те, що я знаю про припущення та процедури, які розглядаються на їх шляху". Це занадто розпливчасто, щоб його варто навіть сказати. Бажаючи вийти за межі такої розпливчастості, було мотивацією моєї посади.

Якщо чесно, мої сумніви тут ґрунтуються на більш ніж здавалося б сумнівних статистичних методах. Насправді, я бачу останнє більше як наслідок більш глибокої проблеми: поєднання ставлення кавалера до експериментального дизайну в поєднанні з категоричною прихильністю оприлюднення результатів у їхньому стані (тобто без подальших експериментів). Звичайно, подальші проекти завжди передбачаються, але це просто поза сумнівом, що жоден папір не вийде, скажімо, з "холодильника, наповненого 100 000 пробами".

Статистика наводиться на світ лише як засіб для досягнення цієї вищої мети. Єдине виправдання прив'язки до статистичних даних (другорядне, як вони є у всьому сценарії) полягає в тому, що лобова проблема з припущенням "публікація за ціною" просто безглузда.

Насправді я можу придумати лише одну ефективну відповідь у таких ситуаціях: запропонувати якийсь статистичний тест (не потребуючи додаткових експериментів), який справді перевіряє якість аналізу. Але я просто не маю відбитків у статистиці для цього. Моя надія (наївна в ретроспективі) полягала в тому, щоб дізнатися, що я можу вивчити, що може дати мені змогу придумати такі випробування ...

Коли я це пишу, то мені світає, що, якщо його вже не існує, світ може використовувати одну нову підгалузь статистики, присвячену методам виявлення та виявлення "тортур даних". (Звичайно, я не маю на увазі захоплення метафорою "тортур": питання полягає не в "тортурах даних" сама по собі, а в оманливих "висновках", до яких вона може призвести.)

Існує відмінність, яка іноді не приділяє достатньої уваги, а саме: генерація гіпотез проти тестування гіпотез або дослідницький аналіз та тестування гіпотез. Вам дозволяється всі брудні хитрощі у світі висувати свою ідею / гіпотезу. Але коли ви згодом це випробуєте, ви повинні нещадно вбити своїх коханих.

Я біолог, який весь час працюю з високими показниками пропускної здатності, і так, я роблю це "нарізання і нарізка" досить часто. У більшості випадків проведений експеримент не був ретельно розроблений; а може, ті, хто планував це, не враховували всіх можливих результатів. Або загальне ставлення при плануванні було "давайте подивимось, що там". Ми закінчуємо дорогими, цінними і самі по собі цікавими наборами даних, які я потім обертаю навколо і придумую історію.

Але тоді, це лише історія (можливий сон). Після того, як ви вибрали пару цікавих ракурсів - і ось вирішальний момент - ви повинні перевірити його не тільки з незалежними наборами даних або незалежними зразками, але бажано з незалежним підходом , незалежною експериментальною системою.

Важливість цієї останньої речі - незалежної експериментальної установки, а не лише незалежного набору вимірювань чи зразків - часто недооцінюється. Однак, коли ми перевіряємо 30 000 змінних на значну різницю, часто трапляється, що хоча подібні (але різні) зразки з тієї ж когорти та проаналізовані тим самим методом не відкинуть гіпотезу, засновану на попередньому наборі. Але потім ми переходимо до іншого типу експерименту та іншої когорти, і наші висновки виявляються результатом методологічної упередженості або обмежені в застосуванні.

Ось чому нам часто потрібно кілька робіт декількох незалежних дослідників, щоб реально прийняти гіпотезу чи модель.

Тож я вважаю, що таке катування даних є прекрасним, якщо ви пам’ятаєте про це розрізнення і пам’ятаєте, що ви робите, на якому етапі наукового процесу ви знаходитесь. Ви можете використовувати фази місяця або перевизначати 2 + 2 до тих пір, поки у вас є незалежна перевірка даних. Щоб розмістити його на зображенні:

На жаль, є ті, хто замовляє мікромасив закруглювати папір після декількох експериментів, і жодна історія не з’являється з надією, що аналіз високої пропускної здатності щось покаже. Або вони плутаються у всьому тестуванні гіпотез у порівнянні з поколінням.

Герман Фрідман, мій улюблений професор середньої школи, раніше говорив про це

"якщо ви не здивовані, ви нічого не навчилися"

Суворе уникнення будь-якого, крім найсуворішого тестування апріорно визначених гіпотез, сильно обмежує вашу здатність дивуватися.

Я думаю, що ключовим є те, що ми чесні щодо того, що робимо. Якщо ми перебуваємо в режимі сильної розвідки, ми повинні так сказати. З іншого боку, один професор, якого я знаю, сказав їй студенту змінити свої гіпотези, оскільки початкові не були визнані важливими.

Дозвольте додати кілька моментів:

• Перш за все, породження гіпотез є важливою частиною науки. І можуть бути опубліковані непередбачувальні (дослідницькі / описові) результати .

• Проблема IMHO не полягає в тому, що дослідження даних використовується на наборі даних і публікуються лише частини цих висновків. Проблеми є

  • не описуючи, скільки випробуваного
  • потім робити висновки, як ніби це дослідження було валідаційним дослідженням для якоїсь прогнозної моделі / дослідження тестування гіпотез

• Розробка науки та методів - це ітераційні процеси набагато більш загальні, ніж просто генерація гіпотез - тестування - генерування нових гіпотез - тестування .... ІМХО - це питання професійного судження про те, яка правильна поведінка необхідна на якому етапі (див. Приклад нижче).

Що я роблю:

• спробуйте довести людям інформацію до оптимістичного упередження, яке призводить до того,
  коли я маю шанс, я також показую людям, яка різниця робить це (можливо, переважно з нижчим рівнем тієї самої проблеми, наприклад, порівняйте незалежно перевірені пацієнтом дані з внутрішніми показниками оцінки процедур оптимізації гіперпараметрів, таких як пошук сітки для параметрів SVM, "комбінованих моделей", таких як PCA-LDA, і т. д. Не дуже можливо для реального днопоглиблення даних, тому що поки що ніхто не дав мені грошей на заробіток справжня копія дослідження розумного розміру ...)
• для робіт, якими я є співавтором: наполягаю на обговоренні обмежень висновків. Переконайтеся, що висновки не сформульовані більш загально, ніж дозволяє дослідження.
• Заохочуйте співробітників використовувати свої експертні знання щодо предмета дослідження та процесу генерації даних, щоб вирішити, як обробляти дані, а не виконувати дорогі (з точки зору розміру вибірки, що вам потрібно це зробити правильно) оптимізація модель-"гіпер" -параметри (наприклад, яку попередню обробку використовувати).
• паралельно: спробуйте довести людям усвідомлення того, наскільки дорогий цей оптимізаційний бізнес, якщо він виконаний належним чином (незалежно від того, чи це називається розвідкою чи ні, не має значення, якщо це зроблено неправильно, він матиме подібні результати, як днопоглиблення даних), наприклад, Beleites, C. та Neugebauer , U. і Bocklitz, T. і Krafft, C. і Popp, J .: Планування розмірів вибірки для класифікаційних моделей. Anal Chim Acta, 2013, 760, 25-33. DOI: 10.1016 / j.aca.2012.11.007
  прийнято рукопис на arXiv: 1211.1323

• Ось дослідження, яке виявляє, що цей незрячий намагається також
  виявлятися безрезультатно, наприклад, Дж. Енгель, Дж. Герретцен, Е. Шиманська, Дж. Дж. Янсен, Г. Дауні, Л. Бланчет, Л.М. Тренди тенденцій в аналітичній хімії, 2013, 50, 96-106. DOI: 10.1016 / j.trac.2013.04.015
  (вони спробували велику кількість комбінацій етапів попередньої обробки і виявили, що дуже мало призводять до кращих моделей, ніж взагалі немає попередньої обробки)

• Підкресліть, що я не мучу свої дані більше, ніж потрібно:
  example :

  Про всю попередню обробку було вирішено виключно за допомогою спектроскопічних знань, і жодна попередня обробка даних не проводилася.

  Наступні паперу , використовуючи ті ж дані , як , наприклад , для (інше) розвитку теорії свідчить

  Про всю попередню обробку вирішили спектроскопічні знання, не було включено керованих даними кроків і оптимізація параметрів не проводилася. Однак ми перевірили, що проекція PLS [45] спектрів на 25 латентних змінних як попередня обробка для навчання ЛР не призвела до більш ніж незначних змін у прогнозуванні (див. Додаткову рисунок S.2).

  Тому що я чітко попросив (на конференції редактора журналу CILS) порівняти моделі з попередньою обробкою PLS.

• Прийміть практичну точку зору: Наприклад, у зв'язаному вище дослідженні з астроцитомою, я, звичайно, все ж вирішив деякі моменти, переглянувши дані (наприклад, який поріг інтенсивності відповідає вимірюванням, проведеним поза зразка - які потім відкидали). Інші рішення, на які я знаю, є некритичними (лінійна та квадратична базова лінія: мій досвід із таким типом даних говорить про те, що це насправді не сильно змінюється - що також ідеально відповідає тому, що Джаспер Енгель виявив у різних даних подібного типу, так Я б не очікував, що велика упередженість може призвести до вирішення типу базової лінії, переглянувши дані (стаття дає аргумент, чому це розумно).
  На основі проведеного нами дослідження ми можемо сказати, що слід вирішити далі, а що слід змінити. А оскільки ми все ще перебуваємо на порівняно ранній стадії розробки методів (дивлячись на зразки ex-vivo ), не варто переглядати всі "домашні завдання", які, зрештою, знадобляться до того, як метод можна буде використовувати in-vivo . Наприклад, на сучасному етапі оцінювання астроцитоми валідація переустановки є більш розумним вибором, ніж зовнішній тестовий набір. Я все-таки підкреслюю, що в певний момент знадобиться справді зовнішня перевірка валідації, оскільки деякі характеристики продуктивності можна виміряти лише таким чином (наприклад, ефекти переміщення приладів / доведення, що ми можемо їх виправити). Але зараз, поки ми ще граємо з ex-vivoЗразки та вирішують інші частини великої проблеми (у приєднаних роботах: як поводитися з прикордонними випадками), прибутковість корисних знань, отриманих від належного валідаційного дослідження ex-vivo , занадто низька, щоб бути вартим зусиль (ІМХО: якщо тільки що було зроблено для вимірювання упередженості через днопоглиблення даних).

• Одного разу я прочитав аргумент про стандарти статистики та звітності, і чи потрібно вирішити таке, що потрібне для журналу (не пам’ятаю, який із них), який мене переконав: ідея висловлювалась у тому, що редакторам не потрібно намагатися погодитись та застосувати якийсь стандарт (що спричинить багато марних дискусій), оскільки:

  • хто користується належними методами, зазвичай дуже усвідомлює / пишається цим, і тому (і повинен) докладно повідомити про зроблене.
  • Якщо певний момент (наприклад, днопоглинання даних, перевірка даних, незалежна від рівня пацієнта) не чітко прописаний, припущенням рецензентів / читачів за замовчуванням є те, що дослідження не дотримувалося належних принципів у цьому питанні (можливо, тому, що вони не були ' я знаю краще)

Іноді речі, які ви бачите як "катування даних", насправді насправді не є. Заздалегідь не завжди зрозуміло, що саме ви збираєтеся робити з даними, щоб дати те, що ви вважаєте, справжніми результатами експерименту, поки не побачите їх.

Наприклад, використовуючи дані про час реакції для вирішення завдання, вам часто хочеться відхилити часи, які не стосуються рішення (тобто, коли вони йдуть так швидко, вони, очевидно, просто здогадуються і не приймають рішення). Ви можете побудувати точність рішення проти RT, щоб побачити, де загадки відбуваються загалом. Але поки ви не випробували цю конкретну парадигму, у вас немає способу знати, де знаходиться відсічки (вчасно, а не точність). Для деяких спостерігачів така процедура виглядає як катування даних, але якщо вона не має нічого спільного з тестами гіпотези (ви не коригуєте її на основі тестів), це не мучить дані.

Перевірка даних під час експерименту нормальна, якщо це зроблено правильно. Мабуть, неетично вкладати експеримент у чорну скриньку і робити аналіз лише тоді, коли запланована кількість предметів виконана. Іноді важко сказати, що виникають проблеми з експериментом, поки ви не подивитеся на дані, і ви повинні переглянути їх якомога швидше. Вигляд даних сильно зневажений, оскільки його прирівнюють до того, щоб побачити, якщо p <0,05, і вирішити продовжити. Але є безліч критеріїв, за якими ви можете вирішити продовжувати збирання, які не роблять нічого шкідливого для ваших показників помилок.

Скажімо, ви хочете переконатися, що оцінка вашої дисперсії в межах відомого ймовірного діапазону. Невеликі зразки можуть мати досить далекі оцінки дисперсії, тому ви збираєте додаткові дані, поки не дізнаєтеся, що зразок є більш репрезентативним. У наступному моделюванні я очікую, що відхилення в кожній умові становитиме 1. Я збираюся зробити щось справді божевільне і відібрати кожну групу самостійно на 10 зразків, а потім додати суб'єктів, поки дисперсія не буде близькою до 1.

Y <- replicate(1000, {
    y1 <- rnorm(10)
    while(var(y1) < 0.9 | var(y1) > 1.1) y1 <- c(y1, rnorm(1))
    y2 <- rnorm(10)
    while(var(y2) < 0.9 | var(y2) > 1.1) y2 <- c(y2, rnorm(1))
    c( t.test(y1, y2, var.equal = TRUE)$p.value, length(y1), length(y2) )
    })
range(Y[2,]) #range of N's in group 1
[1]   10 1173
range(Y[3,]) #range of N's in group 2
[1]   10 1283
sum(Y[1,] < 0.05) / ncol(Y)
[1] 0.045

Отже, я щойно перейшов на вибір із вибіркою і зробити свої відхилення близькими до очікуваних, і я все ще не сильно впливаю на альфа (це трохи менше 0,05). Ще кілька обмежень, таких як N, повинні бути рівними у кожній групі і не можуть бути більше 30, а альфа в значній мірі відповідає 0,05. Але що з SE? Що робити, якщо я замість цього спробував зробити SE заданим значенням? Це насправді дуже цікава ідея, оскільки я в свою чергу встановлюю ширину CI заздалегідь (але не місце розташування).

se <- function(x) sqrt(var(x) / length(x))
Y <- replicate(1000, {
        y1 <- rnorm(10)
        y2 <- rnorm(10)
        while(se(y1) > 0.2 | se(y2) > 0.2) {
            y1 <- c(y1, rnorm(1)); y2 <- c(y2, rnorm(1))
        }
        c( t.test(y1, y2, var.equal = TRUE)$p.value, length(y1) )
        })
range(Y[2,]) #range of N's in group 1 and 2 (they're equal now)
[1] 10 46
sum(Y[1,] < 0.05) / ncol(Y)
[1] 0.053

Знову ж таки, альфа змінив невелику кількість, навіть якщо я дозволив N-м прослуховувати до 46 з оригінальних 10 на основі даних, що проходять. Що ще важливіше, всі ІП потрапляють у вузький діапазон у кожному з експериментів. Неважко зробити невелику настройку альфа, щоб виправити це, якщо це турбує. Річ у тім, що деякий перегляд даних не приносить шкоди і навіть може принести користь.

(До речі, те, що я показую, не є якоюсь магічною кулею. Ви насправді не зменшуєте кількість предметів у довгостроковій перспективі, роблячи це, тому що потужність для різного моделювання N приблизно така ж, як і для моделювання середнього N )

Ніщо з вищезазначеного не суперечить нещодавній літературі щодо додавання предметів після початку експерименту. У цих дослідженнях вони розглядали симуляції, де ви додавали суб'єктів після тестування гіпотез, щоб знизити значення р. Це все ще погано і може надзвичайно надути альфу. Крім того, мені дуже подобаються відповіді січня та Пітера Флома. Я просто хотів зазначити, що перегляд даних, коли ви збираєте їх, і навіть зміна запланованого N під час збору, - це не обов'язково погані речі.

Це справді культурна проблема незбалансованого мислення, коли упередженість публікацій призводить до сприятливих позитивних результатів, а наш конкурентний характер вимагає від редакторів та дослідників результатів, що представляють інтерес, які є новими або суперечливими, наприклад, у сенсі спростовуючи чужі результати. У медичних дослідженнях досягнуто значного прогресу для усунення цієї проблеми шляхом обов'язкової реєстрації випробувань та публікації результатів із записами покинутих випробувань, які також повинні бути оприлюднені. Я розумію, що оскільки публікація в журналах для невдалого дослідження може бути недосяжною, є плани зберігати загальнодоступну базу даних про них. Незвичайні результати, які неможливо повторити, не обов'язково є наслідком проступку, як, можливо, 50,

Використання різних методів також не обов'язково є рішенням. Наприклад, який хімік змішав би реагенти по-різному в різних умовах і очікував однакових результатів?