Основні правила для "сучасної" статистики

Мені подобається книга G van Belle « Статистичні правила великого пальця» , і меншою мірою поширені помилки в статистиці (і як їх уникнути) від Філіппа I Good та Джеймса У. Хардіна. Вони стосуються загальних підводних каменів під час інтерпретації результатів експериментальних та спостережних досліджень та надають практичні рекомендації щодо статистичних висновків або дослідницького аналізу даних. Але я відчуваю, що "сучасних" настанов дещо бракує, особливо з постійно зростаючим використанням обчислювальної та надійної статистики в різних галузях, або впровадженням методів машинобудівного співтовариства, наприклад, клінічної біостатистики або генетичної епідеміології.

Окрім обчислювальних хитрощів або загальних підводних каменів у візуалізації даних, які можна було б вирішити в іншому місці, я хотів би запитати: Які основні правила ви рекомендуєте для ефективного аналізу даних? ( одне правило на відповідь, будь ласка ).

Я думаю про вказівки, які ви можете надати колезі, досліднику, що не має значного досвіду статистичного моделювання, або студенту середнього та прогресивного курсу. Це може стосуватися різних етапів аналізу даних, наприклад стратегій вибірки, вибору особливостей чи побудови моделі, порівняння моделей, післяоцінки тощо.

Не забувайте перед початком аналізу провести перевірку основних даних. Зокрема, подивіться на графік розкиду кожної змінної, яку ви збираєтесь проаналізувати, відповідно до ідентифікаційного номера, дати / часу збору даних чи подібного. Око часто може підібрати зразки, які виявляють проблеми, коли зведена статистика не показує нічого незвичайного. І якщо ви збираєтеся використовувати журнал або інше перетворення для аналізу, також використовуйте його для графіку.

Тримайте аналіз відтворюваним. Рецензент, ваш начальник чи хтось інший, врешті-решт запитає вас, як саме ви досягли свого результату - можливо, через півроку і більше після того, як ви зробили аналіз. Ви не згадаєте, як ви очистили дані, який аналіз зробили, чому обрали конкретну модель, яку ви використовували ... І реконструкція всього цього - це біль.

Висновок: використовуйте якусь мову сценаріїв, додайте коментарі до своїх сценаріїв аналізу та зберігайте їх. Те, що ви використовуєте (R, SAS, Stata, що завгодно), є менш важливим, ніж мати повністю відтворюваний сценарій. Відхиліть середовища, в яких це неможливо чи незручно.

Безкоштовного обіду немає

Значна частина статистичних збоїв створюється натисканням великої блискучої кнопки під назвою "Обчислити значимість" без урахування її тягаря прихованих припущень.

Повторіть

Навіть якщо задіяний один виклик до випадкового генератора, можливо, вам пощастить або пощастить, і тому перейдіть до неправильних висновків.

Одне правило на відповідь ;-)

Порадьтеся зі статистиком перед проведенням дослідження. Якщо можливо, перед подачею заявки на грант. Допоможіть йому / їй зрозуміти проблему, яку ви вивчаєте, отримайте його / її вклад щодо аналізу даних, які ви збираєтеся збирати, і подумайте, що це означає для вашого дизайну дослідження та вимог до даних. Можливо, хлопець із статистикою пропонує запропонувати зробити ієрархічну модель для обліку того, хто поставив діагноз пацієнтам, - тоді потрібно відстежити, хто кому поставив діагноз. Звучить тривіально, але набагато краще подумати над цим, перш ніж збирати дані (і не змогти зібрати щось вирішальне), ніж згодом.

Відповідна примітка: перед початком роботи зробіть аналіз потужності Ніщо так не засмучує, як не сплачувати бюджет на достатньо великий розмір вибірки. Замислюючись про те, який розмір ефекту ви очікуєте, пам’ятайте про упередженість публікації - розмір ефекту, який ви збираєтеся знайти, ймовірно, буде меншим, ніж той, який ви очікували з огляду на (упереджену) літературу.

Я хочу сказати своїм учням - створити відповідний графік для кожного p-значення. наприклад, розсіювач, якщо вони перевіряють кореляцію, бокові плити, якщо вони односторонні, ANOVA тощо.

Якщо ви вирішили між двома способами аналізу своїх даних, спробуйте обидва способи і подивіться, чи це має значення.

Це корисно у багатьох контекстах:

• Перетворювати чи не перетворювати
• Непараметричне або параметричне випробування
• Співвідношення Спірмена або Пірсона
• PCA або факторний аналіз
• Чи використовувати середнє арифметичне чи надійну оцінку середнього
• Чи включати коваріат чи ні
• Використовувати видалення зі списку, парне видалення, імпутацію чи інший метод заміни відсутніх значень

Це не повинно позбавити когось від роздуму над питанням, але воно принаймні дає відчуття ступеня, наскільки суттєві висновки є надійними у виборі.

Запитуйте свої дані. У сучасну епоху дешевої оперативної пам’яті ми часто працюємо над великими обсягами даних. Одна помилка «жирного пальця» або «втрачений десятковий знак» може легко домінувати в аналізі. Без якоїсь основної перевірки правильності (або нанесення даних, як пропонують інші тут) можна витрачати багато часу. Це також пропонує використовувати деякі основні прийоми для "стійкості" для людей, що вижили.

Використовуйте програмне забезпечення, яке показує ланцюг програмування логіки від необроблених даних до кінцевих аналізів / результатів. Уникайте програмного забезпечення, такого як Excel, коли один користувач може допустити невпізнанну помилку в одній комірці, і це виявиться лише вручну.

Завжди запитуйте себе "що означають ці результати і як вони будуть використовуватися?"

Зазвичай метою використання статистики є допомога у прийнятті рішень у невизначеності. Тому важливо мати перед собою думку "Які рішення будуть прийняті в результаті цього аналізу і як цей аналіз впливатиме на ці рішення?" (наприклад, опублікувати статтю, рекомендувати використовувати новий метод, забезпечити фінансування $ X для Y, отримати більше даних, повідомити передбачувану кількість як E тощо etc.c ...)

Якщо ви не відчуваєте, що має бути прийняте якесь рішення, тоді варто задатися питанням, чому ви робите аналіз в першу чергу (оскільки аналіз зробити це досить дорого). Я думаю, що статистика є "неприємністю", оскільки вона є засобом для досягнення мети, а не самою метою. На мою думку, ми лише кількісно оцінюємо невизначеність, щоб ми могли використовувати це для прийняття рішень, які пояснюють цю невизначеність точно.

Я думаю, що це одна з причин, чому простота речей - це хороша політика в цілому, оскільки зазвичай набагато простіше пов'язати просте рішення з реальним світом (а отже, і з середовищем, в якому приймається рішення), ніж складне рішення . Також зазвичай простіше зрозуміти обмеження простої відповіді. Потім ви переходите до більш складних рішень, коли розумієте обмеження простого рішення та спосіб їх вирішення.

Список може бути довгим, але зазначити лише декілька: (без конкретного порядку)

1. P-значення НЕ є ймовірністю. Зокрема, це не ймовірність помилки типу I. Аналогічно, ІС не мають імовірнісної інтерпретації для даних даних. Вони застосовні для повторних експериментів.

2. Проблема, пов'язана з дисперсією, домінує над ухилом більшість часу на практиці, тому упереджена оцінка з невеликою дисперсією краще, ніж неупереджена оцінка з великою дисперсією (більшу частину часу).

3. Монтаж моделі - це ітераційний процес. Перед аналізом даних зрозумійте джерело даних та можливі моделі, що відповідають або не відповідають опису. Також спробуйте моделювати будь-які проблеми дизайну у вашій моделі.

4. Скористайтеся інструментами візуалізації, подивіться на дані (на предмет можливих відхилень, очевидних тенденцій тощо тощо), щоб зрозуміти дані, перш ніж аналізувати їх. Використовуйте методи візуалізації (якщо можливо), щоб побачити, як модель підходить до цих даних.

5. І останнє, але не в останню чергу, використовуйте статистичне програмне забезпечення для того, для чого вони створені (щоб полегшити ваше завдання з обчислення), вони не є заміною людського мислення.

Для організації / управління даними переконайтеся, що при створенні нових змінних у наборі даних (наприклад, обчисленні індексу маси тіла за висотою та вагою) оригінальні змінні ніколи не видаляються. Неруйнівний підхід найкращий з точки зору відтворюваності. Ніколи не знаєш, коли ти можеш неправильно ввести команду і згодом потрібно буде повторно змінити генерацію. Без оригінальних змінних ви втратите багато часу!

Думайте важко про що лежить в основі генерування даних процесу (ДГП). Якщо модель, яку ви хочете використовувати, не відображає DGP, вам потрібно знайти нову модель.

Для гістограм добре правило великого розміру для кількості відходів у гістограмі :

квадратний корінь кількості точок даних

Незважаючи на все більшу кількість наборів даних та більш потужне програмне забезпечення, переналагодження моделей становить велику небезпеку для дослідників, особливо тих, хто ще не був спалений від надмірного розміщення. Надмірна відповідність означає, що ви встановили щось складніше, ніж ваші дані та сучасний стан. Як любов або красу, важко визначити, не кажучи вже про те, щоб визначити формально, але простіше розпізнати.

Мінімальне правило - 10 точок даних для кожного параметра, оціненого для чогось подібного до класичної регресії, і слідкуйте за наслідками, якщо ви їх ігноруєте. Для інших аналізів вам потрібно набагато більше, щоб зробити хорошу роботу, особливо якщо в даних є рідкісні категорії.

Навіть якщо ви можете легко встановити модель, вам слід постійно турбуватися про те, що це означає і наскільки вона відтворюється навіть за дуже схожим набором даних.

У проблемі прогнозування (тобто, коли потрібно прогнозувати задану , з використанням навчального набору ) , правило великого пальця (робити перед будь-яким складним моделюванням) ( Y t , X t ) t > T ( Y 1 , X 1 ) , … , ( Y T , X T$Y_{t+h}$$(Y_t,X_t)$ $t>T$$(Y_1,X_1),\dots, (Y_T,X_T)$

1. Кліматологія ( прогноз за середнім спостережуваним значенням для навчального набору, можливо, шляхом видалення очевидних періодичних зразків)$Y_{t+h}$
2. Постійність ( прогноз за останнім спостережуваним значенням: ). Y $Y_{t+h}$$Y_t$

Те, що я часто роблю зараз як останній простий орієнтир / правило великого пальця, використовує randomForest ( ~ , data = learningSet) в програмному забезпеченні R. Це дає вам (з 2 рядками коду в R) перше уявлення про те, чого можна досягти без будь-якого моделювання. Y t + X $Y_{t+h}$$Y_t+X_t$

Якщо модель не конвергується легко і швидко, це може бути помилкою програмного забезпечення. Однак набагато частіше зустрічається те, що ваші дані не підходять для моделі або модель не підходить для даних. Можливо, важко сказати, які і емпірики, і теоретики можуть мати різні погляди. Але предметне мислення, по-справжньому дивлячись на дані та постійно думаючи про інтерпретацію моделі, допомагають наскільки це все може. Перш за все, спробуйте більш просту модель, якщо складна не зблизиться.

Ніякого виграшу в примусовій конвергенції чи в оголошенні перемоги та отриманні результатів після багатьох ітерацій, але перш ніж ваша модель справді сходилася. У кращому випадку ви обманюєте себе, якщо це робите.

У регресії інструментальних змінних завжди перевіряйте спільну значимість ваших інструментів. Правило Staiger-Stock визначає, що F-статистика менше 10 викликає занепокоєння і вказує на те, що ваші інструменти можуть бути слабкими, тобто вони недостатньо співвіднесені з ендогенною змінною. Однак це автоматично не означає, що F вище 10 гарантує міцні інструменти. Staiger and Stock (1997) показали, що методи "інструментальних змінних", як 2SLS, можуть бути погано зміщеними у "малих" зразках, якщо інструменти лише слабко співвідносяться з ендогенною змінною. Їх прикладом було дослідження Ангріста і Крюгера (1991), які мали понад 300 000 спостережень - тривожний факт щодо поняття "малих" зразків.

Для вибору інформаційних критеріїв немає критеріїв.

Після того, як хтось каже щось на кшталт "IC? Це вказує на це, але, як відомо, часто дають неправильні результати" (де? Будь-яка літера, що вам подобається), ви знаєте, що вам доведеться також подумати про модель і особливо, чи це робить вона науковий чи практичний сенс.

Жодна алгебра не може цього сказати.

Я десь прочитав це (напевно, на перехресній валідації), і я не зміг його знайти ніде, тому тут іде ...

Якщо ви виявили цікавий результат, напевно, це неправильно.

Дуже легко захоплюватися перспективою приголомшливого p-значення або майже ідеальною помилкою перехресної перевірки. Я особисто екстатично представив колегам дивовижні (помилкові) результати лише для того, щоб їх відкликати. Найчастіше, якщо це виглядає занадто добре, щоб бути правдою ...

'taint true. «Талію взагалі правда.

Постарайтеся бути доблесними, а не доброчесними. Тобто, не дозволяйте дрібним ознакам нестандартності, незалежності чи нелінійності тощо блокувати вашу дорогу, якщо такі ознаки потрібно нехтувати, щоб дані говорили голосно та чітко . - Датською мовою 'dristig' проти 'dydig' є прикметниками.

При аналізі поздовжніх даних обов'язково переконайтеся, що змінні кодуються однаково у кожному часовому періоді.

Під час написання моєї дисертації, яка спричиняла аналіз вторинних даних, було тиждень або близько того, що було здивовано 1-одиничним зміщенням середніх показників депресії за інакше стабільним середнім роком: виявилось, що це був один із років у моєму набір даних, елементи масштабу для затвердженого інструменту були закодовані 1–4 замість 0–3.

Ваша гіпотеза повинна керувати вибором моделі, а не навпаки.

Перефразовуючи Маслоу, якщо ви молоток, все виглядає як цвях. Конкретні моделі оснащені жалюзі та припущеннями про світ, побудований прямо: наприклад, нединамічні моделі задушуються від зворотного зв'язку з лікуванням та результатами.

Використовуйте моделювання, щоб перевірити, де структура вашої моделі може створювати "результати", які є просто математичними артефактами припущень вашої моделі.

Виконайте свій аналіз на передосліджених змінних або на імітованих змінних, які, як відомо, непов'язані між собою. Чи багато разів це чи порівнюйте усереднені оцінки балів (та достовірність чи достовірні інтервали) з результатами, отриманими за фактичними даними: чи всі вони такі різні?

Я аналітик даних, а не статистик, але це мої пропозиції.

1) Перш ніж аналізувати дані, переконайтесь, що припущення вашого методу є правильними. Після того, як ви побачите результати, їх важко забути навіть після виправлення проблем та зміни результатів.

2) Це допомагає дізнатися ваші дані. Я запускаю часові ряди і отримав результат, який мало сенсу з огляду на дані останніх років. Я переглянув методи з огляду на це і виявив, що усереднення моделей методом спотворює результати за один період (і відбувся структурний розрив).

3) Будьте уважні до правил. Вони відображають досвід окремих дослідників з їх власних даних, і якщо їх область сильно відрізняється від вашої, їх висновки можуть бути невірними для ваших даних. Більше того, і це було для мене шоком, статистики часто не погоджуються щодо ключових моментів.

4) Спробуйте проаналізувати дані різними методами і побачити, чи результати схожі. Зрозумійте, що жоден метод не є ідеальним, і будьте уважні, щоб перевірити, коли ви можете порушити припущення.