Як слід повідомляти про крихітні


62

Для деяких тестів в R, існує нижня межа на розрахунків 2.221016 . Я не впевнений, чому саме це число, якщо для цього є вагомі причини або якщо це просто довільне. Багато інших пакетів статистики просто йде 0.0001, тому це набагато вищий рівень точності. Але я не бачив занадто багато паперів, що повідомляють p<2.221016 або p=2.221016 .

Чи є загальною / найкращою практикою повідомляти про це обчислене значення чи більш типовим є повідомлення про щось інше (наприклад p < 0.000000000000001)?


Якщо ви отримаєте таке невелике p-значення і хочете обчислити фактичне p-значення, ви можете використовувати цю функцію у excel = TDIST (t, df, 2) Додайте значення ваших 't' і df, і ви отримаєте фактичне p-значення ta

7
@Tahzeeb є будь-яка причина , чому Excel буде повертати більш точну оцінку , то R ..? Наскільки я знаю, він набагато менш точний.
Тім

...But I haven't seen too many papers reporting p<2.22⋅10−16....Ознайомтеся з деякими статтями GWAS , є багато робіт, що показують результати за значеннями в сотнях, наприклад: Рак передміхурової залози KLK область, p = 9x10 ^ -186.
zx8754

Відповіді:


87

Для цього є вагомі причини.

Значення можна знайти через noquote(unlist(format(.Machine)))

           double.eps        double.neg.eps           double.xmin 
         2.220446e-16          1.110223e-16         2.225074e-308 
          double.xmax           double.base         double.digits 
        1.797693e+308                     2                    53 
      double.rounding          double.guard     double.ulp.digits 
                    5                     0                   -52 
double.neg.ulp.digits       double.exponent        double.min.exp 
                  -53                    11                 -1022 
       double.max.exp           integer.max           sizeof.long 
                 1024            2147483647                     4 
      sizeof.longlong     sizeof.longdouble        sizeof.pointer 
                    8                    12                     4 

Якщо ви подивитесь на допомогу, ( ?".Machine"):

double.eps  

the smallest positive floating-point number x such that 1 + x != 1. It equals 
double.base ^ ulp.digits if either double.base is 2 or double.rounding is 0; 
otherwise, it is (double.base ^ double.ulp.digits) / 2. Normally 2.220446e-16.

Це по суті значення, нижче якого ви можете бути впевнені, що значення буде досить чисельно безглуздим - оскільки будь-яке менше значення, швидше за все, не буде точним розрахунком значення, яке ми намагалися обчислити. (Вивчивши невеликий чисельний аналіз, залежно від того, які обчислення були виконані за певною процедурою, є хороший шанс, що числова безглуздість вийде справедливим чином вище.)

Але статистичне значення буде втрачено набагато раніше. Зауважте, що значення p залежать від припущень, і чим далі у крайній хвіст ви переходите, тим сильніше на справжнє p-значення (а не на номінальне значення, яке ми обчислюємо) впливатимуть помилкові припущення, в деяких випадках навіть тоді, коли вони ти лише трохи помилився Оскільки припущення просто не будуть виконані абсолютно точно, середні р-значення можуть бути досить точними (з точки зору відносної точності, можливо, лише скромною часткою), але надзвичайно крихітні р-значення можуть бути витіснені багатьма порядками величина.

Що означає, що звичайна практика (щось на кшталт "<0,0001", яке ви говорите, є поширеним у пакунках, або правило APA, яке Jaap згадує у своїй відповіді), ймовірно, далеко не розумна практика, але приблизна точка, в якій речі втрачає сенс, крім того, що говорити " це дуже мало ", звичайно, сильно відрізняється залежно від обставин.

Це одна з причин, чому я не можу запропонувати загальне правило - не може бути єдиного правила, яке навіть віддалено підходить для всіх при будь-яких обставинах - трохи змінити обставини, і широка сіра лінія, що позначає зміни, від дещо значущої до відносно безглузде зміниться, іноді довгим шляхом.

Якщо ви повинні були вказати достатню інформацію про точні обставини (наприклад , це регрес, при цьому багато нелінійності, що величина зміни в цій незалежної змінної, цей тип і кількість залежності в терміні помилки, що вид і кількість гетероскедастичності, така форма розподілу помилок), я міг би імітувати 'справжні' p-значення для порівняння з номінальними p-значеннями, щоб ви могли бачити, коли вони занадто різні, щоб номінальне значення не мало будь-якого значення.

Але це призводить нас до другої причини, чому - навіть якщо ви вказали достатньо інформації для імітації справжніх p-значень - я все ще не міг відповідально констатувати відключення навіть для цих обставин.

p106

105104103

За відсутності знань про їх переваги функцій та правил та відсутності знань про власні комунальні послуги, як я відповідально пропоную будь-який загальний вибір того, які дії потрібно вжити?

Я можу принаймні сказати вам усі речі, які я роблю (і я зовсім не вважаю, що це для вас хороший вибір):

106105104

Це, безумовно, корисно для інформування про вибір - але я, як імовірно, обговорюватиме результати моделювання, як використовувати їх для вибору граничної вартості, даючи іншим шанс вибрати власний.

Альтернативою моделюванню є перегляд деяких більш надійних процедур * до різних можливих збоїв припущення та переконання, яка різниця може мати значення р-значення. Їх p-значення також не буде особливо значущим, але вони, принаймні, дають певне відчуття того, який вплив може бути. Якщо деякі з них дуже відрізняються від номінальної, а й дає більш ідеї , які порушення припущень для дослідження впливу. Навіть якщо ви не повідомляєте жодну з цих альтернатив, це дає кращу картину того, наскільки значущим є ваш маленький p-значення.

* Зауважте, що тут нам дійсно не потрібні процедури, які є надійними для грубих порушень деяких припущень; ті, на кого менше впливають відносно легкі відхилення відповідного припущення, повинні бути чудовими для цієї вправи.

Я скажу, що коли / якщо ви все-таки робите подібні симуляції, навіть з досить легкими порушеннями, то в деяких випадках це може дивуватися, наскільки навіть не малі значення p можуть помилятися. Це зробило більше, щоб змінити те, як я особисто інтерпретую значення p більше, ніж воно змістило конкретні межі, які я можу використовувати.

Подаючи результати фактичного тестування гіпотез до журналу, я намагаюся з’ясувати, чи є у них якесь правило. Якщо вони цього не роблять, я схильний порадувати себе, а потім чекаю, коли арбітри подадуть скаргу.


11
Мені особливо подобається, що коментар щодо статистичного значення втрачається набагато раніше.
usεr11852 повідомляє Відновити Моніку

Чудова відповідь! Я ціную всю деталь щодо цього, вона з'ясовує, чому R дає це число. Але це не відповідає дійсно на питання про те, що звітувати.
Пауль

1
Я скоріше відчув, що я вирішив це питання, в тому сенсі, що я пояснив, чому не було відповідальності робити конкретну пропозицію. Зауважте, що я обговорюю, чому є сенс повідомляти про щось на зразок "<0,0001", що є звичайною практикою в деяких пакунках. Є кілька причин, чому я не пропоную конкретної кількості - першу з яких я дав. Я розширюватимуся з цієї причини і другий у редакції.
Glen_b

Пауле, я додав ще кілька істотних дискусій.
Glen_b

2
Так, вам потрібно щось робити; Суть мого більш обширного коментаря полягала в тому, щоб сказати, що я не можу сказати тобі, що ти повинен обрати, я можу лише обговорити питання, які потрапляють у твій вибір. Я сподіваюся, що я це зробив, але із задоволенням намагаюся далі уточнити будь-які питання, якщо зможу.
Glen_b

27

Яка загальна практика може залежати від вашої галузі досліджень. Посібник Американської психологічної асоціації (APA), який є одним із найбільш часто використовуваних стилів цитування, констатує (стор. 139, 6-е видання):

Не використовуйте значення, менше p <0,001


8
Хоча це я також цитую (+1), я не впевнений, чи потрібно переглядати цю рекомендацію на один десятковий знак, враховуючи нещодавню рекомендацію Вален Джонсона в PNAS : "Зробіть 0,005 рівнем значущості за замовчуванням [ ...]. Поєднуйте високо значущі результати випробувань із значеннями Р, меншими ніж 0,001 ".
Генрік

3
Хороша відповідь. У моїх областях немає посібників зі стилів та реальних стандартів, принаймні не для p-значень. Я займаюся міждисциплінарною роботою, але, мабуть, інформатика та ІСІ були б полем для цього. Я думаю, що стиль APA був би там, де звертаються автори, оскільки методи, як правило, запозичені з когнітивної психіки чи інших областей, які охоплює APA.
Павло

10
5σp<106

1
5σzpp0.0001zp

@amoeba Так, я думаю, ти маєш рацію.
Glen_b

14

Такі екстремальні значення p частіше трапляються в полях з дуже великою кількістю даних, таких як геноміка та моніторинг процесів. У таких випадках він інколи повідомляється як -log 10 (p-значення). Дивіться, наприклад, цю цифру з Nature , де значення p знижуються до рівня 1e-26.

-log 10 (p-значення) статистики називають "LogWorth", з яким працюю в JMP.


21
ppp

8
@BenBolker Дійсно, хоча і менш вірогідні, ніж "АНБ, підроблене вашими даними", навіть такі події, як "Космічний промінь перекинув кілька важливих бітів у ваші дані", є набагато більш імовірними, ніж ці ймовірності.
Glen_b

6
p<10100ρ0.9n500

8
p=2.2×10226

9
@amoeba У розділі коментарів Slate Star Codex Деніел Веллс зазначає, що science.sciencemag.org/content/363/6425/eaau1043 повідомляє про p-значення 3,6e-2382 ("не помилка, дві тисячі ", - каже Даніель ), який б'є твій цілком націнено!
Марк Амерді

-3

в R "<2e-16" не означає буквально <2e-16, але натомість це означає, що значення настільки мале, що R не може записати або відобразити його.

Під час тесту регресії я часто отримую p на рівні 4,940656e-324, коли він виводить "<2e-16", це число, навіть менше 4,940656e-324


Яке число " навіть менше, ніж 4.940656e-324 "?
Свен Хогенштайн

8
Ваше твердження " в R," <2e-16 "не означає, що буквально <2e-16 " є невірним. Коли R відображає <2e-16значення є меншим , ніж 2e-16, в буквальному сенсі.
Свен Хогенштайн

Ви неправильно зрозуміли, що я сказав. Коли R сказав "<2e-16", p-значення менше 2e-16, але це не означає, що p-значення, менше 2e-16, відображатиметься як "<2e-16". Як я показав, R не має жодних проблем відображати в lm підсумкове p-значення будь-якого числа між [4.940656e-324, 2e-16], а ліва межа - 2 ^ -1074. Тож я припускаю, що лише тоді, коли р-значення менше 2 ^ -1074, R тоді скаже, що значення p менше, ніж мале дельта-значення. Просто буває, що R відображає це значення дельти як 2e-16. Тому я здогадуюсь, що "<2e-16" насправді означає "<2 ^ -1074" у p-значеннях
user3590816

6
Ваша здогадка, однак, помилкова: це те, що @Sven намагається сказати вам. Подивіться довідку format.pvalабо просто спробуйте її, як в format.pval(1e-16).
whuber
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.