Шукаю справжню ілюстрацію цитати Фішера про DoE

Моя команда і я хотіли б виступити з нестатистами компанії про корисність проектування експериментів. Ці нестатисти - це також наші клієнти, і вони зазвичай не консультуються з нами перед тим, як збирати їх дані. Чи знаєте ви кілька реальних прикладів, які добре ілюстрували б відому цитату Фішера "Подзвонити до статистики після закінчення експерименту може бути не більше, ніж попросити його провести післясмертне обстеження: він може лише сказати, що загинув експеримент з ". ? Переважно ми шукаємо ілюстрацію в промисловому / фармацевтичному / біологічному контексті. Ми вважаємо приклад непереконливого статистичного аналізу, який міг би бути успішним, якби він був попередньо добре розроблений, але, можливо, є й інші можливі ілюстрації.

Я наткнувся на проекти, де експериментатор хотів перевірити між предметними ефектами, але дизайн був більш підходящим для тематичних ефектів.

Наприклад, один експеримент складався з 8 щурів, чотирьох на дієті А і чотирьох на дієті В, а вага щура вимірювали щодня протягом чотирьох тижнів. Це було чудово, якщо їх цікавив часовий ефект кожної дієти, але метою було дослідити відмінності в дієтах.

Вони думали, вимірюючи кожного щура 28 разів, вони мали багато даних, але експериментальною одиницею для дієтичного ефекту були щури, яких у них було лише 4 для кожного лікування. Вони могли міряти щурів 10 разів на день, але це не мало би значення, врешті-решт їм потрібно було більше щурів.

Я провів деяку роботу в організації під назвою Національний фонд поінформованості про ціліаки. Організація сприяє поінформованості громадськості щодо захворювання целіакії та надає контрольний список симптомів захворювання, що передбачає непереносимість продуктів, що містять глютен. Вони провели опитування в Інтернеті, просто відкривши його всім, хто захотів взяти участь. За ці роки вони зібрали тисячі відповідей від громадськості. Однак вони сподівалися зробити висновки щодо широкої громадськості на основі результатів опитування. Я повинен був сказати їм, що респонденти були обрані не випадковим чином, а це може створити упередженість. Оскільки ступінь упередженості невідома, ми не могли зробити жодного висновку, незважаючи на велику кількість даних.

Зараз респонденти видалися своєрідною групою. Багато хто дуже серйозно і відповіли, щоб висловити стурбованість тим, що у них або у родичів може бути захворювання. Але також було чимало людей, які відповідали мудрецем. Це було очевидно з підроблених імен, дивних адрес електронної пошти та поштових адрес, на які вони надавали свої відповіді.

Я вважав, що дані є корисними лише в дослідницькому сенсі, а частота відповідей може бути корисною для пробудження гіпотез, які можна перевірити в добре запланованому майбутньому опитуванні. Але поки що мої поради не були прислухані, і вони проводять ще одне з таких простих для самостійного вибору опитувань в Інтернеті.

Деякий час тому мене попросили проаналізувати результати експерименту щодо того, як положення нічного зберігання фотоелектричного сонячного масиву впливало на швидкість, з якою ґрунт накопичувався в масиві. (Ці великі концентраційні фотоелектричні масиви слідкують за сонцем цілий день, але вночі вони, як правило, зберігаються в напрямку прямо вгору, оскільки це мінімальна напружена позиція для трекера.) Забруднення є великою проблемою, оскільки це значно зменшує виробництво енергії та очищення недешево. Експеримент проводився на полі приблизно 120 трекерів; західна половина була укладена вертикально, а східна половина - горизонтально (це узгоджується з з'єднаннями трекера до двох інверторів, що могло б забезпечити перевагу у виробництві енергії під час експерименту, якщо є значний ефект і немає особливої ​​структури забруднення інакше, так це не,

На жаль, в пустелі з півдня-південного заходу існує сильний пануючий малюнок вітру, і велика будівля на південь від західної частини поля, що «затінює» (дещо) більшу частину західної частини поля від вітряних частинок . Крім того, трекери "затінюють" один одного від вітру певною мірою. Отже, механізми, за допомогою яких накопичується ґрунт (наприклад, вітром або осіданням) змінюються у відносній величині по полю. Це, в свою чергу, означає, що масиви накопичують грунт з різною швидкістю залежно від місця розташування; це не малий ефект.

Кінцевим результатом аналізу було, по суті, те, що неправдоподібно, що позиція зберігання змінила зміну, але ми жодним чином не змогли виключити можливість того, що ефект був тривіальним, ані визначити з якоюсь великою впевненістю (на основі за даними) ознака ефекту. Тоді я розробив наступний експеримент, призначивши місця зберігання на основі розташування масиву з метою змоги оцінити забруднення "поверхні відповіді" по полю для обох позицій зберігання, оцінюючи швидкість забруднення "відстояння" проти "задуваного вітром" та звичайно вплив кута зберігання на обидва ці. Цей експеримент виявився досить успішним, і нам вдалося отримати чітке уявлення про переваги вертикального пристосування вже через пару місяців.

Мене колега попросив "зробити статистику" у дослідженні, дивлячись на співвідношення між певним типом погоди та збоями в інфраструктурі, які зазвичай відносять до простого зносу. Колега хотів дізнатися, чи насправді погодні події сприяють відмові чи ні. Команда людей вже витратила багато часу та зусиль на збір величезної кількості даних, і дослідницька робота була майже закінчена, їм просто потрібен хтось, щоб "зробити статистику" та заповнити останній біт розділу результатів.

Проблема полягала в тому, що вони ретельно переконувались, що набір даних містить лише "цікаві" періоди, в яких відбувалася відповідна погода. Це означало, що немає можливості порівняти рівень відмов під час подій із часом без події. Я кілька разів намагався пояснити проблему, але вони ніколи не були переконані, тому що просто було стільки даних, що, безумовно, я міг щось із цього отримати.

На щастя, все ще був діапазон тяжкості погодних подій, і було слабке відповідність між ступенем тяжкості та поломки, тому ми принаймні щось врятували від цього, але результат міг бути набагато більш остаточним, якби вони думали, як це зробити "зробіть статистику", перш ніж приступати до вправи збору даних.