Що таке загальні статистичні гріхи?

Я студентка психології, і, як я все більше і більше займаюся незалежними дослідженнями статистики, все більше вражаю неадекватність моєї формальної підготовки. Як особистий досвід, так і досвід другого боку свідчить про те, що нестабільність статистичної суворості в бакалаврській та випускній підготовці є досить всюдисущою в психології. Тому я вважав, що було б корисно незалежним учням, як я, створити список "статистичних гріхів", табулюючи статистичні практики, що навчаються для оцінювання студентів, як стандартну практику, яка насправді або замінена вищим (більш потужним, або гнучким, або надійні тощо) сучасні методи або виявляються відверто недійсними. Передбачаючи, що в інших сферах також може виникнути подібний стан речей, я пропоную вікі спільноти, де ми можемо зібрати список статистичних гріхів по різних дисциплінах.

Неможливо переглянути (графік) дані.

Більшість тлумачень p-значень є гріховними! Звичайне використання p-значень сильно помилково; факт, який, на мою думку, ставить під сумнів стандартні підходи до викладання тестів гіпотез і тестів, що мають значення.

Галлер і Краузе виявили, що статистичні інструктори майже так само ймовірні, як студенти неправильно трактувати p-значення. (Візьміть тест у їхньому документі і подивіться, як ви робите.) Стів Гудман робить хороший випадок для відмови від звичайного (неправильного) використання р-значення на користь ймовірностей. Папір Хаббард також варто переглянути.

Галлер і Краус. Помилкові тлумачення значущості: проблема, яку учні ділять зі своїми вчителями . Методи психологічних досліджень (2002) вип. 7 (1) стор. 1-20 ( PDF )

Хаббард і Баяррі. Плутанина щодо заходів доказування (p's) порівняно з помилками (α) у класичному статистичному тестуванні . Американський статистик (2003), вип. 57 (3)

Хороша людина. Назустріч доказовій медичній статистиці. 1: Помилковість P значення. Ann Intern Med (1999) vol. 130 (12) с. 995-1004 ( PDF )

Також дивіться:

Wagenmakers, EJ. Практичне вирішення поширених задач p-значень. Психономічний вісник та огляд, 14 (5), 779-804.

для деяких чітких випадків, коли навіть номінально "правильне" тлумачення p-значення було неправильним через вибір експериментатора.

Оновлення (2016 р.) : У 2016 році Американська статистична асоціація видала заяву про p-значення, дивіться тут . Це, певним чином, було відповіддю на "заборону р-значень", видану журналом психології приблизно роком раніше.

Найнебезпечніша пастка, з якою я стикався під час роботи над прогнозною моделлю, - це не резервувати тестовий набір даних раніше, щоб присвятити його "остаточній" оцінці ефективності.

Переоцінити точність прогнозування вашої моделі дуже просто, якщо у вас є можливість якось використовувати дані тестування під час налаштування параметрів, вибору попереднього, вибору критерію зупинки алгоритму навчання ...

Щоб уникнути цієї проблеми, перед початком роботи над новим набором даних слід розділити свої дані так:

• набір розвитку
• набір оцінок

Потім розділіть свій набір розробок на "набір розробок тренінгу" та "набір розробок для тестування", де ви використовуєте набір розробок для тренувань різних моделей з різними параметрами та виберіть рейтинги відповідно до результатів роботи набору розробок для тестування. Ви також можете здійснювати пошук по сітці з перехресною валідацією, але тільки в наборі розробок. Ніколи не використовуйте набір оцінок, поки вибір моделі не зроблений на 100%.

Після того, як ви впевнені у виборі моделі та параметрах, виконайте перехресну перевірку на 10 разів на наборі оцінок, щоб мати уявлення про "реальну" прогнозовану точність обраної моделі.

Крім того, якщо ваші дані тимчасові, краще вибрати розділ розвитку / оцінювання за тимчасовим кодом: "Важко робити прогнози - особливо щодо майбутнього".

Повідомлення p-значень, коли ви робили обмін даними (виявлення гіпотез) замість статистики (тестування гіпотез).

Тестування гіпотез проти H 1 : μ ≠ 0 (наприклад, у гауссовій обстановці)$H_0: \mu=0$$H_1: \mu\neq 0$

щоб виправдати, що в моделі (тобто суміш " H 0 не відхиляється" і " H 0 є істинним").$\mu=0$$H_0$$H_0$

Дуже хорошим прикладом такого типу (дуже поганих) міркувань є те, коли ви перевіряєте, чи є дисперсії двох гауссів рівними (чи ні) перед тестуванням, чи їх середнє значення є рівним чи ні з припущенням про рівну дисперсію.

Інший приклад виникає, коли ви перевіряєте нормальність (порівняно з ненормальністю) для обгрунтування нормальності. Кожен статистик зробив це в житті? це baaad :) (і повинен підштовхувати людей до перевірки стійкості до не-гауссовості)

Кілька помилок, які мене турбують:

1. Якщо припустити, що об'єктивні оцінювачі завжди кращі, ніж упереджені оцінки.

2. Якщо припустити, що високий передбачає хорошу модель, низький R 2 означає погану модель.$R^2$$R^2$

3. Неправильне тлумачення / застосування кореляції.

4. Оцінка точок звітування без стандартної помилки.

5. Використання методів, які передбачають певну багатовимірну нормальність (наприклад, лінійний дискримінантний аналіз), коли доступні більш надійні, більш ефективні, не / напівпараметричні методи.

6. Використання p-значення як міри сили між передбачувачем та відповіддю, а не як показник того, наскільки є докази певного зв'язку.

Дихотомізація суцільної змінної предиктора або для "спрощення" аналізу, або для вирішення "проблеми" нелінійності в дії безперервного прогноктора.

Не дуже відповідаю на питання, але на цю тему є ціла книга:

Філіпп І. Добрий, Джеймс Вільям Хардін (2003). Поширені помилки в статистиці (і як їх уникнути). Вілі. ISBN 9780471460688

трактуючи Probability(data | hypothesis)як Probability(hypothesis | data)без застосування теореми Байєса.

Ритуалізована статистика.

Цей «гріх» - це коли ти застосовуєш те, що тебе навчили, незалежно від його доречності, бо так робиться все. Це статистика за маршрутом, на один рівень вище, що дозволяє машині вибирати вашу статистику.

Приклади - це студенти на рівні рівня статистики, які намагаються зробити так, щоб усе вмістилося в їх скромний тест-тест та інструментарій ANOVA, або коли-небудь знайдеш себе "О, у мене є категоричні дані, я повинен використовувати X", не зупиняючись ніколи на огляді дані, або розглянути питання, що задається.

Варіант цього гріха передбачає використання коду, який ви не розумієте, щоб отримати вихід, який ви тільки розумієте, але знаєте "п'яту колонку, приблизно на 8 рядків вниз" або будь-яку відповідь, яку ви повинні шукати.

Можливо поетапна регресія та інші форми тестування після вибору моделі.

Вибір незалежних змінних для моделювання, не маючи апріорної гіпотези за існуючими відносинами, може призвести до логічних помилок або помилкових кореляцій, серед інших помилок.

Корисні посилання (з біологічної / біостатистичної точки зору):

1. Козак, М., Азеведо, Р. (2011). Чи має сенс використання ступінчастих змінних для побудови моделей послідовного аналізу шляхів? Physiologia plantarum, 141 (3), 197–200. doi: 10.1111 / j.1399-3054.2010.01431.x

2. Віттінгем, MJ, Stephens, P., Bradbury, RB, & Freckleton, RP (2006). Чому ми все ще використовуємо поетапне моделювання в екології та поведінці? Журнал екології тварин, 75 (5), 1182–9. doi: 10.1111 / j.1365-2656.2006.01141.x

3. Френк Харрелл, стратегії регресійного моделювання , Springer 2001.

Щось я бачу дивовижну кількість у доповідях конференцій і навіть у журналах, які роблять кілька порівнянь (наприклад, двозначні кореляції), а потім повідомляють про всі р <0,05 як "значущі" (ігноруючи на даний момент правильність чи неправильність цього).

Я знаю, що ви маєте на увазі про випускників психології, а також - я закінчила доктор психологічних наук і все ще тільки справді навчаюся. Це зовсім погано, я думаю, що психології потрібно серйозніше поставитися до кількісного аналізу даних, якщо ми збираємось його використовувати (що, очевидно, нам слід)

Будучи дослідницькою, але претендує на підтвердження. Це може статися, коли можна змінювати стратегію аналізу (тобто підгонку моделі, вибір змінних тощо), керовані даними або керованими результатами, але не заявляючи про це відкрито, а потім лише повідомляти про "найкращі" (тобто з найменшими р-значеннями) результати, як ніби це був єдиний аналіз. Це також стосується того, що численні тестування, проведені Крісом Білі, призводять до високих помилкових позитивних результатів у наукових звітах.

Те, що я бачу досить часто і завжди шліфує свої передачі, - це припущення, що статистично значущий головний ефект в одній групі, а нестатистично значимий головний ефект в іншій групі передбачає значний ефект х групової взаємодії.

Особливо в епідеміології та охороні здоров'я - використовуючи арифметику замість логарифмічної шкали при повідомленні графіків відносних заходів асоціації (коефіцієнт небезпеки, коефіцієнт шансів чи коефіцієнт ризику).

Більше інформації тут .

Кореляція передбачає причинну причину, що не так погано, як прийняття нульової гіпотези.

Аналіз даних швидкості (точність та ін.) За допомогою ANOVA, припускаючи тим самим, що дані швидкості мають гаусову розподілену помилку, коли вона фактично біномічно розподілена. Діксон (2008) надає обговорення наслідків цього гріха та вивчення більш відповідних підходів до аналізу.

Популярний в даний час графік планує 95% довірчі інтервали навколо необмежених значень продуктивності в повторних проектах заходів, коли вони стосуються лише дисперсії ефекту. Наприклад, графік часу реакції в повторних заходах проектують з довірчими інтервалами, де термін помилки походить від MSE повторних заходів ANOVA. Ці довірчі інтервали не представляють нічого розумного. Вони, звичайно, не представляють нічого про абсолютний час реакції. Ви можете використовувати термін помилки для створення довірчих інтервалів навколо ефекту, але це робиться рідко.

Хоча я можу сказати, що багато чого з того, що говорить Майкл Лев, відмова від р-значень на користь коефіцієнтів ймовірності все ж пропускає більш загальну проблему - переоцінку ймовірнісних результатів над розмірами ефекту, які необхідні для надання суттєвому значенню результату. Цей тип помилок буває в усіх формах і розмірах, і я вважаю це найбільш підступною статистичною помилкою. Спираючись на Дж. Коена, М. Оукс та інших, я написав твір про це на веб- сайті http://integrativestatistics.com/insidious.htm .

Якщо не перевірити припущення про те, що помилка зазвичай розподіляється і постійно змінюється між методами лікування. Ці припущення не завжди перевіряються, тому розміщення моделі з найменшими квадратами, ймовірно, часто використовується, коли воно насправді є невідповідним.

На моєму курсі інтро-психометрії у нижчій школі провів принаймні два тижні, навчаючи виконувати ступінчату регресію. Чи є ситуація, коли ступінчаста регресія - це гарна ідея?

У моєї старої проф. Статистики було "велике правило" для поводження з чужими людьми: якщо ви бачите на своїй розсипчастій стороні, прикрийте її великим пальцем :)

Це може бути скоріше відповідь поп-статистики, ніж те, що ви шукаєте, але:

Використання середнього значення як індикатора місцезнаходження, коли дані сильно перекошені .

Це не обов'язково проблема, якщо ви та ваша аудиторія знаєте, про що ви говорите, але це, як правило, не так, і медіана, швидше за все, може краще зрозуміти, що відбувається.

Мій улюблений приклад - середня заробітна плата, яку зазвичай повідомляють як "середню заробітну плату". Залежно від нерівності доходів / багатств у країні, це може сильно відрізнятися від середньої заробітної плати, що дає набагато кращий показник того, де люди перебувають у реальному житті. Наприклад, в Австралії, де у нас відносно низька нерівність, медіана на 10-15% нижча від середньої . У США різниця значно більша , медіана менше 70% від середнього, а розрив збільшується.

Повідомлення про "середню" (середню) заробітну плату призводить до розширення картини, ніж це гарантовано, а також може створити велику кількість людей помилкове враження, що вони заробляють не стільки, скільки "нормальні" люди.

Те, що значення p - це ймовірність того, що нульова гіпотеза є істинною, а (1-p) - ймовірність того, що альтернативна гіпотеза є істинною, про те, що якщо не відкинути нульову гіпотезу, це означає, що альтернативна гіпотеза помилкова і т.д.

Аналогічно @dirkan - Використання p-значень як формальної міри доказування того, що нульова гіпотеза є істинною. Він має деякі хороші евристичні та інтуїтивно добрі риси, але по суті є неповним доказом, оскільки не посилається на альтернативну гіпотезу. Незважаючи на те, що дані можуть бути малоймовірними під нульовим значенням (що призводить до малого p-значення), вони можуть бути ще більш неправдоподібними в альтернативній гіпотезі.

$\rightarrow$$\rightarrow$

Використання кругових діаграм для ілюстрації відносних частот. Більше тут .

Використання статистики / ймовірності в тестуванні гіпотез для вимірювання "абсолютної істини". Статистика просто не може цього зробити, вони можуть бути корисними лише для вирішення між альтернативами , які повинні бути визначені "поза" статистичної парадигми. Такі твердження, як "нулева гіпотеза підтверджена статистикою", є просто неправильними; статистика може сказати лише вам, що "нульова гіпотеза сприятлива для даних, порівняно з альтернативною гіпотезою". Якщо ви припускаєте, що або нульова гіпотеза, або альтернатива повинні бути істинними, ви можете сказати, що «нульовий виявився істинним», але це лише тривіальний наслідок вашого припущення, а не що-небудь продемонстроване даними.

$\alpha = 0.05$

І подібно до (або майже такої ж, як) відповіді @ ogrisel , виконуючи пошук Grid та звітування лише про найкращий результат.

(З трохи удачі це буде суперечливим.)

Використання підходу Неймана-Пірсона до статистичного аналізу наукових експериментів. Або, ще гірше, використовуючи неправильно визначений гібрид Неймана-Пірсона та Фішера.

Запит і, можливо, отримання діаграми потоку : ця графічна річ, де ви говорите, який рівень ваших змінних та які відносини ви шукаєте, і ви слідуєте стрілками вниз, щоб отримати тест на позначення торгової марки або статистику фірмового найменування . Іноді пропонуються з таємничими "параметричними" та "непараметричними" шляхами.