Приклади дорогих наслідків від неправильного використання статистичних інструментів

Я підозрюю, що більшість користувачів статистичних інструментів є допоміжними користувачами (люди, які майже не мали офіційного навчання статистиці). Для дослідників та інших фахівців дуже спокусливо застосовувати статистичні методи до своїх даних просто тому, що вони бачили це "зроблено раніше" у рецензованих роботах, сірій літературі, в Інтернеті або на конференції. Однак, без чіткого розуміння необхідних припущень та обмежень статистичного інструменту може призвести до помилкових результатів - помилки часто не визнаються!

Я вважаю, що студенти магістрантів (особливо з соціальних та природничих наук) або не знають про статистичні підводні камені, або вважають ці підводні камені несуттєвими (останній найчастіше трапляється). Хоча приклади неналежного використання статистичних інструментів можна знайти у багатьох вступних текстових книгах, Інтернеті чи StackExchange, мені важко знайти приклади реального світу, які мали б згубні результати (наприклад, вартість у доларах США, постраждала життя та втрачена кар'єра) . З цією метою я шукаю приклади реального світу, які висвітлюють неправильне використання статистичних методів, для яких:

1. Застосовувані статистичні методи, як правило, висвітлюються у вступних курсах статистики (тобто інфекційна статистика, регресія тощо).
2. кінцевий результат мав дорогі наслідки (втрачені долари, загроза життю, зрушення кар'єри тощо)
3. ці дані легко доступні для використання в якості робочих прикладів в курсі (мета полягає в тому, щоб студенти працюють через реальні приклади , які мали реальні наслідки світу.)

Один нестатистичний приклад, який я люблю наводити студентам, обговорюючи важливість правильного визначення одиниць у дослідницькому проекті, - це «метрична невідповідність», яка призвела до втрати супутника в 125 мільйонів доларів! Зазвичай це викликає: - фактор від студентів і, здається, справляє стійке враження (принаймні протягом їхнього короткого академічного життя).

Я не впевнений у наявності даних, але чудовим (якщо це правильне слово) прикладом поганої статистики є дослідження Гарвардських медсестер щодо ефективності гормонозамісної терапії (ЗГТ) у жінок в менопаузі.

Яка загальна ідея? Дослідження медсестер свідчать про те, що ЗГТ корисний для жінок у постменопаузі. Виявляється, цей результат виник через те, що контрольна група сильно відрізнялася від групи лікування, і ці відмінності не враховувалися в аналізі. У наступних рандомізованих дослідженнях ЗГТ пов'язували з раком, інфарктом, інсультом і тромбами. За допомогою відповідних виправлень дослідження медсестер виявляють і ці закономірності.

Я не можу знайти оцінок смертності США, пов’язаних із ЗГТ, але їх величина становила десятки тисяч. Одна стаття пов'язує ЗГТ з 1000 загиблих у Великобританії.

Ця стаття New York Times Magazine забезпечує гарне статистичне підґрунтя проблем, що викликають збентеження, присутніх у дослідженні.

У цьому номері американського журналу епідеміології є академічна дискусія . У статтях порівнюються результати дослідження спостережних медсестер з результатами Ініціативи жіночого здоров’я на основі рандомізованих випробувань.

Існує також дискусія (багатьма одними і тими ж особами) у випуску Біометрики. Див. Коментар Фрідмана та Петтіті, зокрема [ препубр. Версія ].

Чудовий історичний приклад наводить публікація в 1933 р. «Триумфу посередництва в бізнесі Горація Секрета» . У той час Секріст був відомим статистиком, автором підручника (приблизно 1919 р., Я пам’ятаю), добре пов’язаного з Американською статистичною асоціацією та керівником групи статистичних досліджень Північно-Західного університету. Він та його співробітники провели попереднє десятиліття, складаючи часові ряди ділових даних, які відтворені та ретельно проаналізовані у книзі. Це повинно було бути шеф-кухарем амбітного статистичного діяча.

Рецензія на книгу Гарольда Готеллінга, яка з’явилася в JASA пізніше того ж року, вказувала, що Сестріст просто задокументував сотні прикладів регресу до середнього рівня (основна тема в будь-якому сьогодні вступному курсі статистики, пункт №1 питання). Сестрист заперечив у опублікованій відповіді. Відповідь Хотелінга на це класична:

"Довести" такий математичний результат дорогим і тривалим числовим дослідженням ... аналогічно доказуванню таблиці множення, розташовуючи слони в рядках і стовпцях, а потім робити те ж саме для численних інших видів тварин. Виступ, хоч, можливо, розважальний і має певну педагогічну цінність, не є важливим внеском ні в зоологію, ні в математику.

[JASA v. 29 № 186, червень 1934, с. 199.]

Схоже, Серіст швидко згас зі статистичної сцени незабаром після цього ("кар'єра зруйнувалася", пункт №2 у питанні). Його книга все ще доступна. (Кілька років тому я отримав гарну чисту копію, очевидно, мало прочитану, через Міжбібліотечний кредит.) З неї ви можете отримати будь-яку кількість наборів прикладів даних (пункт №3 питання).

Стівен Стіглер переказує цю історію в книзі та статті "Історія статистики 1933 року" .

Мені здається, що сприйняття Wired щодо краху на фондовому ринку 2008 року може бути інформативним прикладом. Не можу прокоментувати це висновки правильно чи ні, але ідея використання кореляції над даними , які не є репрезентативною вибіркою схожа на те , що може бути підходять до умов , які ви пропонуєте. Це також актуально, і тому може зацікавити їх.

Я думав, що вам може здатися ця Ted Talk цікавою та актуальною:

• http://www.ted.com/talks/ben_goldacre_battling_bad_science.html