Чи ми перебільшуємо важливість припущення та оцінки моделі в епоху, коли аналізи часто проводяться мирянами

Підсумок , чим більше я дізнаюся про статистику, тим менше я довіряю опублікованим статтям у своїй галузі; Я просто вважаю, що дослідники недостатньо добре займаються статистикою.

Я мирянин, так би мовити. Я навчаюсь з біології, але не маю офіційної освіти зі статистики чи математики. Мені подобається R і часто докладаю зусиль, щоб прочитати (і зрозуміти ...) деякі теоретичні основи методів, які я застосовую під час дослідження. Мене не здивувало б, якщо більшість людей, які сьогодні роблять аналізи, насправді не проходять офіційну підготовку. Я опублікував близько 20 оригінальних робіт, деякі з яких були прийняті визнаними журналами, а статистики часто брали участь у процесі огляду. Мої аналізи зазвичай включають аналіз виживання, лінійну регресію, логістичну регресію, змішані моделі. Ніколи ніколи рецензент не запитував про припущення щодо моделі, відповідність чи оцінку.

Таким чином, я ніколи насправді не надто переймався припущеннями про модель, придатність та оцінку. Я починаю з гіпотези, виконую регресію і потім представляю результати. У деяких випадках я намагався оцінити ці речі, але я завжди закінчувався " добре, що це не виконало всіх припущень, але я довіряю результатам (" знання про предмет "), і вони є правдоподібними, тому це добре " і при консультації зі статистиком вони, здавалося, завжди погоджувалися.

Тепер я спілкувався з іншими статистиками та нестатистами (хіміками, медиками та біологами), які виконують аналізи самостійно; Схоже, люди насправді не надто переймаються всіма цими припущеннями та формальними оцінками. Але тут на резюме є велика кількість людей, які запитують про залишки, підхід моделі, способи її оцінювання, власні значення, вектори і список продовжується. Дозвольте сказати так, коли lme4 попереджає про великі власні значення, я дійсно сумніваюся, що багато хто з користувачів прагне вирішити це питання ...

Чи варто докладати додаткових зусиль? Чи не є ймовірним, що більшість усіх опублікованих результатів не дотримуються цих припущень і, можливо, навіть не оцінювали їх? Це, мабуть, зростаюча проблема, оскільки бази даних з кожним днем ​​збільшуються, і існує думка, що чим більше даних, тим менш важливими є припущення та оцінки.

Я міг би бути абсолютно невірним, але саме так я сприйняв це.

Оновлення: Цитування, запозичене у StasK (нижче): http://www.nature.com/news/science-joins-push-to-screen-statistics-in-papers-1.15509

Мене готують як статистик, а не як біолог чи лікар. Але я займаюся досить багато медичних досліджень (співпрацюючи з біологами та лікарями), в рамках своїх досліджень я дізнався досить багато про лікування декількох різних захворювань. Чи означає це, що якщо друг питає мене про хворобу, яку я досліджував, я можу просто написати їм рецепт ліків, про які я знаю, що зазвичай використовуються для цієї конкретної хвороби? Якби я робив це (я цього не роблю), то в багатьох випадках це, мабуть, вийде нормально (оскільки лікар просто призначив би той самий препарат), але завжди є ймовірність у них алергії / препарату взаємодія / інше, про що міг би лікар запитати, що я не закінчуюсь шкодою набагато більше, ніж користі.

Якщо ви займаєтесь статистикою, не розуміючи, що ви припускаєте, а що може піти не так (або консультуючись зі статистиком, який буде шукати ці речі), тоді ви практикуєте статистичні недобросовісні практики. Здебільшого це буде, мабуть, нормально, але як бути з тим випадком, коли важливе припущення не дотримується, а ви просто ігноруєте його?

Я працюю з деякими лікарями, які є достатньо статистично компетентними і можуть зробити багато власного аналізу, але вони все одно будуть проходити повз мене. Часто я підтверджую, що вони зробили правильно і що вони можуть робити аналіз самостійно (і вони, як правило, вдячні за підтвердження), але періодично вони будуть робити щось складніше, і коли я згадую про кращий підхід, вони зазвичай перевертають аналіз мені чи моїй команді, або принаймні залучити мене до більш активної ролі.

Тож моя відповідь на ваше титульне запитання - «Ні», ми не перебільшуємо, швидше, ми повинні наголошувати на деяких речах, щоб миряни мали більше шансів хоча б подвійно перевірити свої процедури / результати зі статистиком.

Редагувати

Це доповнення, засноване на коментарі Адама нижче (буде трохи довгим для іншого коментаря).

Адам, Дякую за Ваш коментар Коротка відповідь - "я не знаю". Я думаю, що досягнуто прогресу в поліпшенні статистичної якості статей, але все пройшло так швидко різними способами, що піде час і гарантувати якість. Частина рішення фокусується на припущеннях та наслідках порушень на курсах введення статистики. Це швидше трапляється, коли класи викладають статистики, але це має відбуватися у всіх класах.

Деякі журнали працюють краще, але хотілося б, щоб конкретний рецензент статистами став стандартом. Кілька років тому з'явилася стаття (вибачте, не є зручною посиланням, але вона була або в JAMA, або в New England Journal of Medicine), яка показала більшу ймовірність опублікування (хоча не така велика різниця, як повинна. бути) в JAMA чи NEJM, якщо один із співавторів був біостатистом або епідеміологом.

Цікава стаття, що вийшла нещодавно: http://www.nature.com/news/statistics-p-values-are-just-the-tip-of-the-iceberg-1.17412, де обговорюються деякі ті самі проблеми.

Ну так, припущення мають значення - якби вони взагалі не мали значення, нам би не потрібно було їх робити, чи не так?

Питання полягає в тому, наскільки вони мають значення - це залежить від процедур та припущень, і що ви хочете стверджувати щодо своїх результатів (а також наскільки толерантна ваша аудиторія до наближення - навіть неточності - до таких тверджень).

Отже, для прикладу ситуації, коли припущення є критичним, розглянемо припущення про нормальність у F-тесті дисперсій; навіть досить скромні зміни розподілу можуть мати досить драматичний вплив на властивості (фактичний рівень значущості та потужність) процедури. Якщо ви стверджуєте, що проводите тест на рівні 5%, коли він дійсно знаходиться на рівні 28%, ви в деякому сенсі робите те саме, що брешите про те, як проводили свої експерименти. Якщо ви не вважаєте, що такі статистичні питання важливі, висловіть аргументи, які не покладаються на них. З іншого боку, якщо ви хочете використовувати статистичну інформацію як підтримку, ви не можете переслідувати цю помилку.

В інших випадках окремі припущення можуть бути набагато менш критичними. Якщо ви оцінюєте коефіцієнт в лінійній регресії, і вам не байдуже, чи є він статистично значущим, і ви не піклуєтесь про ефективність, ну це не обов'язково має значення, чи має місце припущення про гомоскідкастичність. Але якщо ви хочете сказати, що це статистично важливо, або показати інтервал довіри, так, це, безумовно, може мати значення.

Хоча Glen_b дав чудову відповідь , я хотів би додати до цього пару центів.

Одне з питань полягає в тому, чи дійсно ви хочете отримати наукову істину, яка вимагала б полірування ваших результатів та з'ясування всіх деталей того, чи можна підходити ваш підхід? Позаяк, опублікувавши в "а ну, ніхто не перевіряє ці власні значення в моїй дисципліні" режим. Іншими словами, вам доведеться запитати у своєї внутрішньої професійної совісті, чи робите ви найкращу роботу, яку могли. Посилання на низьку статистичну грамотність та слабку статистичну практику у вашій дисципліні не дає переконливого аргументу. Рецензенти часто в кращому випадку наполовину корисні, якщо вони виходять з тієї ж дисципліни з цими слабкими стандартами, хоча деякі топ-представники мають чіткі ініціативи щодо залучення статистичної експертизи до процесу огляду.

Але навіть якщо ви цинічний «опублікуйте або загиньте», нарізаючи салямі, інший розгляд - це в основному безпека вашої репутації в дослідженні. Якщо ваша модель виходить з ладу, і ви цього не знаєте, ви піддаєте себе ризику спростування тими, хто може прийти і загнати сокиру в тріщини моделі перевіряє більш досконалими інструментами. Звичайно, можливість цього виявляється низькою, оскільки наукове співтовариство, незважаючи на номінальні філософські вимоги до авторитетності та відтворюваності, рідко втягується у спроби відтворити чуже дослідження. (Я брав участь у написанні декількох статей, які в основному починалися з "боже мій, чи справді вони булинаписати це? ", і запропонував критику та уточнення рецензованого опублікованого напівстатистичного підходу.) Однак, невдачі статистичних аналізів, коли їх виявляють , часто роблять великі і неприємні бризки.

Характер порушень припущень може бути важливою підказкою для майбутніх досліджень. Наприклад, порушення припущення про пропорційну небезпеку в аналізі виживання Кокса може бути наслідком змінної, що має великий вплив на короткочасне виживання, але невеликий ефект у довгостроковій перспективі. Це тип несподіваної, але потенційно важливої ​​інформації, яку ви можете отримати, вивчивши обґрунтованість своїх припущень у статистичному тесті.

Таким чином, ви робите самі, не лише літературу, потенційну послугу, якщо не перевіряєте основні припущення. Оскільки якісні журнали починають вимагати більш досконалого статистичного огляду, ви будете частіше закликати до цього. Ви не хочете знаходитись у становищі, коли тест, який вимагає статистичний рецензент, підриває те, що, на вашу думку, було ключовим моментом вашої роботи.

Я відповім з проміжної точки зору. Я не статистик, я хімік. Однак я провів останні 10 років, спеціалізуючись на хіміометрії = статистичний аналіз даних для пов'язаних з хімією даних.

Я просто вважаю, що дослідники недостатньо добре займаються статистикою.

Мабуть, так і є.

Коротка версія:

Тепер про припущення. ІМХО ситуація тут є надто неоднорідною, щоб розібратися з нею в одній заяві. Розуміння того, для чого саме потрібне припущення, і яким способом це, ймовірно, буде порушено заявкою, необхідно для того, щоб визначити, чи є порушення нешкідливим чи критичним. І для цього потрібна як статистика, так і знання про застосування.
Однак, як практикуючий, який стикається з недосяжними припущеннями, мені теж потрібно щось інше: я хотів би мати "2-ю лінію захисту", яка, наприклад, дозволяє мені судити, чи порушення насправді спричиняє неприємності чи є нешкідливим.

Довга версія:

• З практичної точки зору деякі типові припущення майже не виконуються. Іноді я можу сформулювати обґрунтовані припущення щодо даних, але часто проблеми стають настільки складними зі статистичної точки зору, що рішення ще не відомі. На даний момент я вважаю, що займатися наукою означає, що ви потрапите на межі відомого, ймовірно, не тільки у вашій конкретній дисципліні, але, можливо, і в інших дисциплінах (тут: прикладна статистика).

• Існують й інші ситуації, коли, як відомо, певні порушення, як правило, нешкідливі - наприклад, багатоваріантна нормальність з однаковою коваріацією для ЛДА необхідна, щоб показати, що ЛДА є оптимальним, але добре відомо, що проекція слідує за евристикою, яка часто справляється також, якщо припущення не виконується. І які порушення, ймовірно, можуть спричинити неприємності: Також відомо, що важкі хвости в розповсюдженні призводять до проблем з LDA на практиці.
  На жаль, такі знання рідко перетворюються на стиснене написання паперу, тому читач не має жодного поняття, чи вирішили автори для їхньої моделі після того, як добре розглядали властивості програми, а також модель або чи просто вибрали будь-яку модель вони натрапили.

• Іноді розвиваються практичні підходи (евристика), які виявляються дуже корисними з практичної точки зору, навіть якщо проходять десятиліття, поки їх статистичні властивості не будуть зрозумілі (я думаю про PLS).

• Інша річ, що трапляється (і має статися більше), - це те, що можливі наслідки порушення можна контролювати (вимірювати), що дозволяє вирішити, є проблема чи ні. Щодо застосування, можливо, мені байдуже, чи моя модель оптимальна, якщо вона достатньо хороша.
  У хіміометрії ми досить сильно орієнтуємося на прогнозування. І це пропонує дуже приємну втечу, якщо припущення щодо моделювання не виконані: незалежно від цих припущень, ми можемо виміряти, чи добре працює модель. З точки зору практикуючого, я б сказав, що вам дозволяється робити все, що завгодно, під час моделювання, якщо ви робите і повідомляєте про чесну перевірку стану сучасності.
  Для хімічного аналізу спектроскопічних даних ми знаходимось у точці, коли ми не дивимось на залишки, тому що знаємо, що моделі легко переробляються. Замість цього ми розглядаємо результати тестових даних (і, можливо, різницю в ефективності прогнозування даних навчання).

• Є й інші ситуації, коли ми не в змозі точно передбачити, наскільки порушення, яке припущення призводить до зриву моделі, але ми здатні досить безпосередньо вимірювати наслідки серйозних порушень припущення.
  Наступний приклад: дані дослідження, якими я зазвичай займаюся, - це порядки нижче розмірів вибірки, які рекомендують статистичні правила щодо випадків на змінну (щоб гарантувати стабільні оцінки). Але статистичні книги, як правило, не надто хвилюються, що робити на практиці, якщо це припущення неможливо виконати. Не можна також виміряти, чи справді у вас є проблеми. Але: такі питання розглядаються у більш застосованих дисциплінах. Виявляється, часто досить просто виміряти стабільність моделі або принаймні нестабільність ваших прогнозів (читайте тут на резюме щодо перевірки переустановки та стабільності моделі). І є способи стабілізації нестабільних моделей (наприклад, мішок).

• Як приклад "2-ї лінії захисту" розглянемо перевірку переустановки. Звичайне і найсильніше припущення полягає в тому, що всі сурогатні моделі еквівалентні моделі, навчаній у цілому наборі даних. Якщо це припущення порушено, ми отримуємо відомий песимістичний ухил. Другий рядок полягає в тому, що принаймні сурогатні моделі рівнозначні одна одній, тому ми можемо об'єднати результати тестів.

І останнє, але не менш важливе, я хотів би заохотити "науковців-замовників" та статистиків більше говорити один з одним . Статистичний аналіз даних ІМХО - це не те, що можна зробити односторонньо. У якийсь момент кожній стороні потрібно буде набути певних знань іншої сторони. Я іноді допомагаю "перекладати" між статистиками та хіміками та біологами. Статистик може знати, що модель потребує регуляризації. Але щоб вибрати, скажімо, між ЛАССО та хребтом, вони повинні знати властивості даних, про які може знати лише хімік, фізик чи біолог.

З огляду на те, що резюме заповнюють статистики та люди, які цікаві, якщо не компетентні, щодо статистики, я не здивований усім відповідям, підкреслюючи необхідність розуміння припущень. Я також погоджуюся з цими відповідями в принципі.

Однак, беручи до уваги тиск на публікацію та низький рівень статистичної цілісності, я маю сказати, що ці відповіді досить наївні. Ми можемо сказати людям, що вони повинні робити цілий день (тобто перевірити свої припущення), але те, що вони будуть робити, залежить виключно від інституційних стимулів. Сам ОП заявляє, що йому вдається опублікувати 20 статей, не розуміючи припущення моделі. Враховуючи власний досвід, мені не важко повірити.

Таким чином, я хочу зіграти захисника диявола, безпосередньо відповідаючи на питання ОП. Це аж ніяк не відповідь, яка пропагує "добру практику", але це відображає те, як все практикується з натяком на сатиру.

Чи варто докладати додаткових зусиль?

Ні, якщо мета опублікувати, не варто витрачати весь час на розуміння моделі. Просто слідкуйте за поширеною моделлю в літературі. Таким чином, 1) ваш документ буде проходити огляди легше, і 2) ризик зазнати «статистичну некомпетентність» невеликий, тому що викривати вас означає оголити все поле, включаючи багато людей старшого віку.

Чи не є ймовірним, що більшість усіх опублікованих результатів не дотримуються цих припущень і, можливо, навіть не оцінювали їх? Це, мабуть, зростаюча проблема, оскільки бази даних з кожним днем ​​збільшуються, і існує думка, що чим більше даних, тим менш важливими є припущення та оцінки.

Так, цілком ймовірно, що більшість опублікованих результатів не відповідають дійсності. Чим більше я задіяний у власних дослідженнях, тим більше я думаю, що це ймовірно.

Коротка відповідь - «ні». Статистичні методи були розроблені на основі припущень, які повинні бути виконані, щоб результати були достовірними. Тоді, безумовно, слід вважати, що якщо припущення не будуть виконані, результати можуть бути неправдивими. Звичайно, деякі оцінки все ж можуть бути надійними, незважаючи на порушення припущень моделі. Наприклад, схоже, що мультиноміальне логіт добре працює, незважаючи на порушення припущення IIA (див. Дисертацію Кропко [2011] у посиланні нижче).

Як науковці, ми зобов’язані забезпечити, щоб результати, які ми виклали там, були достовірними, навіть якщо людей у ​​цій галузі не байдуже, чи були виконані припущення. Це тому, що наука побудована на припущенні, що вчені будуть робити все правильно, переслідуючи факти. Ми довіряємо колегам перевірити їх роботу, перш ніж надсилати її до журналів. Ми довіряємо арбітрам грамотно переглянути рукопис до його публікації. Ми припускаємощо і дослідники, і арбітри знають, що вони роблять, щоб довіряти результатам у публікаціях, що публікуються у рецензованих журналах. Ми знаємо, що це не завжди в реальному світі, виходячи з чистої кількості статей у літературі, де ви в кінці трясете головою і закочуєте очима на очевидно вишневі результати у поважних журналах (" Джама опублікував цей документ ?!" ").

Тож ні, важливості не можна завищувати, тим більше, що люди, які вам довіряють - експерту, - не досягли вашої належної ретельності. Найменше, що ви можете зробити, - поговорити про ці порушення в розділі "обмеження" у вашому документі, щоб допомогти людям інтерпретувати обгрунтованість ваших результатів.

Довідково

Крупко, Дж. 2011. Нові підходи до дискретного вибору та методології перерізу часових рядів політичних досліджень (дисертація). UNC-Chapel Hill, Chapel Hill, NC.

Якщо вам потрібна дуже просунута статистика, це, швидше за все, тому, що ваші дані - це безлад, що стосується більшості соціальних наук, не кажучи вже про психологію. У тих полях, де ви маєте хороші дані, вам потрібно дуже мало статистики. Фізика - дуже хороший приклад.

Розглянемо цю цитату Галілея про його знаменитий експеримент з гравітаційним прискоренням:

Був взятий шматок дерев’яної формочки або мізерної форми, довжиною близько 12 ліктів, шириною пів ліктів і товщиною трьох пальців; на її краю був вирізаний канал в ширину трохи більше одного пальця; зробивши цей паз дуже прямим, гладким і відшліфованим, і, обклавши його пергаментом, також максимально гладким і відшліфованим, ми прокатали по ньому твердий, гладкий і дуже круглий бронзовий кульку. Помістивши цю дошку в похиле положення, піднявши одним кінцем якийсь один або два ліктів вище іншого, ми катали кульку, як я вже говорив, по каналу, відзначаючи, як це зараз описується, необхідний час здійснити спуск. Ми повторювали цей експеримент не раз, щоб виміряти час з точністю, щоб відхилення між двома спостереженнями ніколи не перевищувало однієї десятої частини пульсу. Виконавши цю операцію і переконавшись у її надійності, ми тепер прокатали кульку лише на чверть довжини каналу; і, вимірявши час його сходу, ми виявили його точно половиною колишнього. Далі ми пробували інші відстані, порівнюючи час на всю довжину з відміткою на половину, або з тим, що на дві третини, або на три чверті, або взагалі на будь-який дріб; в таких експериментах, повторених повну сотню разів, ми завжди виявляли, що пройдені простори були один до одного як квадрати часів, і це було справедливо для всіх нахилів площини, тобто каналу, по якому ми прокочували куля. Ми також зауважили, що часи спуску для різних нахилів площини пов'язують один одного саме в тому співвідношенні, яке, як ми побачимо згодом,

Для вимірювання часу ми використовували велику посудину з водою, поставлену у піднесеному положенні; на дно цієї посудини була припаяна труба невеликого діаметру, що подає тонку струмінь води, яку ми збирали у невелику склянку під час кожного спуску, будь то на всю довжину каналу чи на частину його довжини; зібрану таким чином воду зважували після кожного спуску на дуже точному балансі; відмінності та співвідношення цих ваг дали нам відмінності та співвідношення часу, і це з такою точністю, що, хоча операція повторювалася багато, багато разів, не було помітного розбіжності в результатах .

Зверніть увагу на виділений мною текст. Це хороші дані. Він походить від добре спланованого експерименту, заснованого на хорошій теорії. Вам не потрібна статистика, щоб витягнути те, що вас цікавить. На той час не було статистики, також не було комп'ютерів. Результат? Досить фундаментальні стосунки, які все ще дотримуються, і їх може перевірити вдома шестикласник.

Я вкрав цитату з цієї дивовижної сторінки .

$\chi^2$

Це питання, здається, є справою професійної доброчесності.

Проблема, мабуть, полягає в тому, що: (a) недостатньо критичної оцінки статистичного аналізу з боку непрофесійних осіб, або (b) випадків загальновідомих знань недостатньо для ідентифікації статистичної помилки (як помилка типу 2)?

Я знаю досить про свою область знань, щоб вимагати введення експертів, коли я перебуваю біля межі цієї експертизи. Я бачив, як люди використовують такі речі, як F-тест (і R-квадрат в Excel) без достатніх знань.

На мій досвід, освітні системи, прагнучи просувати статистику, надто спростили інструменти та занизили ризики / обмеження. Це загальна тема, яку пережили інші, і пояснила б ситуацію?