Вміст закріплених уявлень p-значень


31

Іноді у звітах я включаю застереження щодо р-значень та іншої статистичної статистики, яку я надав. Я кажу, що оскільки вибірка не була випадковою, то така статистика не застосовуватиметься строго. Моє конкретне формулювання, як правило, наводиться у виносці:

"Хоча, строго кажучи, інфекційна статистика застосовна лише в контексті випадкових вибірок, ми дотримуємось конвенції у звіті про рівень значущості та / або довірчі інтервали як зручні критерії навіть для не випадкових зразків. Див. Статистичні умови Майкла Оукса : коментар для соціальних та науки про поведінку (NY: Wiley, 1986).

Декілька разів - один раз для рецензованої роботи, один чи два рази в позаакадемічній обстановці - редактор чи рецензент заперечували проти цієї відмови, називаючи це заплутаною, і вважали, що конвенційні дані повинні просто стояти як написані (і буде надано мантію авторитету). Хтось ще стикався з цією проблемою і знайшов вдале рішення? З одного боку, розуміння людьми p-значень, як правило, похмуро, навіть в контексті випадкової вибірки, тому, можливо, це не має великого значення, що ми говоримо. З іншого боку, подальший внесок у непорозуміння є однією з частин проблеми. Додам, що я часто маю справу з дослідженнями опитування, де випадкове призначення не застосовується і де симуляції Монте-Карло часто не вдається вирішити питання репрезентативності.


3
коментар рецензента надзвичайно сумний, можна сподіватися, що людина, що перебуває на цій посаді, хоча б не відкрито виявить своє незнання, і тим самим надалі підтримуватиме неправильне тлумачення статистичного методу.
richiemorrisroe

8
Виправте мене, якщо я помиляюся, але випадковість вибірки просто впливає на ступінь, до якого ви можете узагальнити результати. Навпаки, випадкове присвоєння є найважливішою ознакою причинного висновку.
Майк Лоуренс

3
Майк, я згоден з тобою. Чи підкреслюєте ви цю думку, щоб розширити дискусію або вказати на незгоду з чимось сказаним?
rolando2

@richiemorrisroe: нерозумно було б очікувати на це від усіх рецензентів, але я вважаю, що можна сподіватися на майбутнє, в якому ми можемо цього очікувати, і ми, безумовно, повинні тиснути на видавців зробити більше, щоб вимагати і виконувати це, ніж вони роблять зараз. .Роланда, я думаю, що Майк - це лише точка роз'яснення, щоб відключити цю дискусію від питань, пов'язаних з причинно-наслідковими висновками. Очевидно, деякі люди вважають це корисним, хоча я вважав, що це вже досить зрозуміло, особисто. Якщо я маю рацію, це ненароком вимірює плутанину інших щодо p- значень, що мотивує оригінальний пост!
Нік Стаунер

Відповіді:


11

Дійсно, аргумент не повинен включати відмову від відповідальності. Відверто кажучи, я знайшов би короткий трактат про природу p-значень у статті журналу трохи непридатним, і на хвилину доведеться зробити паузу і спробувати з'ясувати, чи зробили ви щось особливо. .esoteric ... вимагати присвятити цей простір певній точці.

В основному, як рецензент, я вважаю це зайвим, тому що читач уже повинен знати, що таке p-значення та що таке. Я навіть міг би заперечити проти цього, оскільки виготовлення такої записки насправді не перешкоджає жодному з багатьох злочинів аналізу та інтерпретації, які супроводжують p-значення, вона просто надягає плащ "довіряй мені, я знаю, що роблю". Це також трохи дивно - "Я буду робити сміливі позиції проти p-значень, але не настільки сміливі, що про них не повідомляю".

Коли я розглядаю "закріплені погляди на p-значення", мене набагато менше турбує щось на зразок того, що ви опублікували вище, і набагато більше стурбовано наполяганням рецензентів на статистичній значущості для того, щоб бути опублікованими або зосередженими в роботі (поставити зірка шляхом знахідки і раптом її великий уклад) або змішування статистичної значущості зі значенням знахідки.


3
Я не думаю, що це відповідає ОП. Я припускаю, що @ rolando2 повідомляє про інші статистичні дані, які є більш важливими для його обговорення (наприклад, розміри ефектів), і переважно повідомляє p значення як один із способів задоволення звичайних очікувань, навіть якщо вони не застосовуються строго. Таким чином, ми повинні бути відкладені в тій чи іншій мірі, коли ми занадто багато читаємо в значення p ; ми повинні розглянути його мотивацію щодо відмови. Читачі не знають, що їм слід; Про це згадує ОП. Відмова від відповідальності сприяє сумніву, а не довірі. Це не дивно заперечувати проти стандарту при його відповідності; це не сміливий стенд.
Нік Стаунер

@ NickStauner Я не бачу, як це не відповідає "ОП". Можливо, він не підтримує те, що вони хочуть робити, але на мою думку це і справді дивний відрив від фактичного змісту паперу, а також марний - "Це неправильно, але я йду до солдата наче правильно, тому що це те, що ви всі очікуєте, "не підказує мені, чи неправота має значення .
Фоміт

3
Питання ОП: "Хто-небудь ще стикався з цією проблемою і знайшов вдале рішення?" Ваша відповідь ігнорує буквальне запитання, щоб відповісти на ідею, і здебільшого пропонує ваші думки щодо того, чому ідею слід збити. Ви все-таки починаєте натякати на конструктивну критику ідеї ОП: ви, здається, не думаєте, що цитування Oakes говорить вам, чому це має значення. Про це я трохи розширю у відповідь власний.
Нік Стаунер

12

Використання інфекційної статистики може бути виправданим не лише на основі моделі населення, але і на основі моделі рандомізації. Останній не робить жодних припущень щодо способу отримання зразка. Фактично, Фішер запропонував, що модель рандомізації повинна бути основою для статистичного висновку (на відміну від Неймана та Пірсона). Див., Наприклад:

Ернст, доктор медицини (2004). Методи перестановки: основа для точного умовиводу. Статистична наука, 19, 676-685. [посилання (відкритий доступ)]

Ludbrook, J. & Dudley, H. (1998). Чому тести на перестановку перевершують t та F тести в біомедичних дослідженнях. Американський статистик, 52, 127-132. [посилання (якщо у вас є доступ до JSTOR)]

Я якимось чином сумніваюся, що редактори чи рецензенти використовували це як причину називати вашу відмову від відповідальності "заплутаною".


1
Вольфганг - цікаві та корисні моменти. Я мав би дати зрозуміти, що значна частина моєї роботи припадає на опитування.
rolando2

7
Якщо головна мета - зробити якийсь висновок щодо сукупності, а механізм вибірки має такий характер, що репрезентативність вибірки є сумнівною, то справді будь-який висновок також буде досить сумнівним. По суті, ви можете зробити висновок лише про ту частину сукупності, яку механізм вибірки забезпечує поданням. В принципі, висновки, які ви робите, будуть відповідні для тієї частини населення. Чи цікавить ця частина населення вас (чи читачів) - це інше питання.
Вольфганг

7

pцінності насправді необхідно повідомити, незважаючи на їхню незначну неправомірність у проблемному дослідженні (клас, до якого потрапляє занадто багато опублікованих статей), можна неявно знизити їх. Поміркуйте замість цього зосередити свою розповідь - можливо, навіть виключно - на розмірах ефектів. Якщо ваше дослідження є достатньо репрезентативним, щоб бути корисним інформативним (це не повинно вимагати абсолютно випадкової вибірки, лише обережність у загальній інтерпретації), то розміри ефектів повинні мати ширші наслідки, ніж просто вказувати на існування та напрямки взаємозв'язків чи відмінностей у будь-якому разі. Зосередження дискусії на розмірах ефекту може полегшити глибше розуміння того, наскільки важливі стосунки чи відмінності в практичному розумінні, хоча це все ще потрібно враховувати в контексті предмета дослідження (наприклад,r=.03ppp

Ще одним потенційно доповнюючим варіантом буде розширення на виноску. Як ваші описи проблеми, коли рецензенти випробували її, так і прийнята на даний момент відповідь на цій сторінці свідчать про те, що не пояснюється достатньо інформації для пояснення вашої мотивації включення виноски, а також недостатньо для мотивації читача слідувати вашій цитаті до посилання. що ви використовуєте, щоб пояснити це настільки коротко. Одне, додаткове речення, навіть коротка цитата з вашої посилання, може пройти довгий шлях до пояснення цінності виноски та мотивації читачів читати глибше. Очевидно, що ваша виноска якнайшвидше мотивує просту, негативну, зневажливу реакцію на вашу занижену спробу порушити їх самовдоволення щодо їх неправильних припущень. Читачі можуть бути трохи менш інтелектуально ледачими, якби ви перекусили їх одним чи двома основними моментами щодо проблем, які вони, ймовірно, не помічають звичайно. Також для багатьох конкретних проблем зp

p

ppp

Список літератури

- Гудман, С.Н. (1992). Коментар щодо тиражування, P- значень та доказів. Статистика в медицині, 11 (7), 875–879.
- Гудман, С.Н. (2001). З P -значень та Байєса: скромна пропозиція. Епідеміологія, 12 (3), 295–297. Отримано з http://swfsc.noaa.gov/uploadedFiles/Division/PRD/Programs/ETP_Cetacean_Assessment/Of_P_Values_and_Bayes__A_Modest_Proposed.6.pdf .
- Гудман, С. (2008). Брудний десяток: Дванадцять Р -значні помилки. Семінари з гематології, 45 (3), 135–140. Отримано з http://xa.yimg.com/kq/groups/18751725/636586767/name/twelve+P+value+misconceptions.pdf .
- Gorroochurn, P., Hodge, SE, Heiman, GA, Durner, M., & Greenberg, DA (2007). Нерепликація досліджень асоціацій: «псевдовідмови» для копіювання? Генетика в медицині, 9 (6), 325–331. Отримано з http://www.nature.com/gim/journal/v9/n6/full/gim200755a.html .
- Hurlbert, SH, & Lombardi, CM (2009). Остаточний крах теоретичної бази рішень Неймана-Пірсона та підйом неофішерського народу. Annales Zoologici Fennici, 46 (5), 311–349. Отримано з http://xa.yimg.com/kq/groups/1542294/508917937/name/HurlbertLombardi2009AZF.pdf .
- Lew, MJ (2013). До P чи ні до P: Про доказовий характер P-значень та їх місце в науковому висновку. arXiv: 1311.0081 [стат.МЕ]. Отримано зhttp://arxiv.org/abs/1311.0081 .
- Нуццо, Р. (2014, 12 лютого). Науковий метод: Статистичні помилки. Природні новини, 506 (7487). Отримано з http://www.nature.com/news/scientist-method-statistic-errors-1.14700 .
- Розенталь, Р., Роснов, Р.Л., Рубін, DB (2000). Контрасти та розміри ефектів у поведінковому дослідженні: кореляційний підхід. Cambridge University Press.
- Сенн, С. (2001). Два ура для Р-значень? Журнал епідеміології та біостатистики, 6 (2), 193–204. Отримано з http://www.phil.vt.edu/dmayo/conference_2010/Senn%20Two%20Cheers%20Paper.pdf .
- Wagenmakers, EJ (2007). Практичне рішення всеохоплюючих проблем Росіїp значення. Психономічний вісник та огляд, 14 (5), 779–804. Отримано з http://www.brainlife.org/reprint/2007/Wagenmakers_EJ071000.pdf .


3
Не всі закиди P-значень є правильними або обґрунтованими, незважаючи на їхню жорстокість. Ви повинні побачити ці два документи для декількох протилежних коментарів до цитованих вами коментарів: Дві ура за значеннями P (Стівен Сенн) phil.vt.edu/dmayo/conference_2010/… ; До P або Not To P (від мене) arxiv.org/abs/1311.0081
Michael Lew

1
Відмінна точка! Дякую! Я трохи відредагував, щоб включити ваші вклади, і я можу редагувати ще раз, коли я їх досить добре зрозумію, щоб включити їх наслідки до решти сказаного. Ось чому я люблю перехресне підтвердження ...
Нік Штаунер

2
Чи є у вас якісь експериментальні докази на користь вашої заяви, що припущення Едвардса поширюється на p-значення? Я вважаю себе дуже скептичним. Мій спосіб аналогії, я бачив пару робіт, які демонструють, що навіть досвідчені вчені мають труднощі з оцінкою коефіцієнта кореляції від розсіювача. Схоже, ви вимагаєте від науковців набагато більше, щоб зрозуміти, що означає значення ap з точки зору ймовірності. Ваш аргумент на користь імовірнісних функцій цікавий ... вони, як правило, трохи схожі на задній розподіл, ні?
russellpierce

2
@rpierce Я не маю експериментальних доказів для розуміння користувачами статистичних методів. Проте я заперечую, що принаймні деякі дослідження, які були зроблені, щоб побачити, чи вчені розуміють 'р-значення, є фатально хибними, не включаючи серед варіантів справжній очевидно значимий опис p-значення. Ваша аналогія не є близькою, оскільки той факт, що коефіцієнти кореляції легко оцінити, не є тією самою проблемою, як оцінка міцності доказів з р-значення.
Майкл Лев

1
@rpierce Функція задньої щільності ймовірності від рівномірного попереднього буде пропорційна функції ймовірності.
Майкл Лев
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.