Чи достатньо р-значення 0,04993, щоб відхилити нульову гіпотезу?

У тесті статистичної значущості за підписами Вілкоксона ми зіткнулися з деякими даними, які значення значення . З порогом , чи достатньо цього результату, щоб відкинути нульову гіпотезу, чи безпечніше сказати, що тест був непереконливим, оскільки якщо ми округлимо значення p до 3 десяткових знаків, воно стане ? $p$ $0.04993$ $p < 0.05$ $0.050$

hypothesis-testing statistical-significance p-value

— Іслам Ель-Набараві
джерело

0,04993 <0,05, значить, це просто нижче. Ваш інстинкт хороший тим, що жодному P-значенню не можна довіряти декілька знаків після коми, але якщо програма каже менше 0,05, люди зазвичай приймають його як доставлене. Справжньою проблемою тут є проведення фетишу перевірки значущості фіксованого рівня, щоб <0,05 означає "справжній", "оприлюднюваний", "привід для щастя" і навпаки означає "ілюзорний", "не оприлюднюваний", "привід для нещастя" . Більшість добрих вступних текстів щодо статистики певною мірою обговорюють це. Один хороший - Фрідман, Пісані, Пурвес, Статистика . Нью-Йорк: WW Norton, будь-яке видання.

— Нік Кокс

Ви повинні запитати себе, яким було б ваше рішення, якщо значення р дорівнює 0,051? що робити, якщо це 0,049? Ви б приймали різні рішення? Чому?

— AlefSin

Дякую за ваші коментарі. У нашому випадку ми не замислюємось над тим, чи дані оприлюднюються, чи ні, і т. Д. ... Ми просто розглядаємо можливість зробити заяву в статті про статистичну значимість цього результату, і хочемо переконатися, що наше твердження не є невірним чи неточним. .

— Іслам Ель-Набараві

Звітність P = 0,04993 - це те, що спадає на думку. Важко передбачити коментарі рецензентів чи редакторів. Якщо ви хочете заокруглити, уточнення послідовної конвенції про округлення завжди є хорошою ідеєю та широко прийнятною. Деякі люди округлили б до 3 dp і, можливо, також використовуватимуть якийсь режим зірочок, тому повідомлення про 0,050 (3 dp) та зіставленням його як <0,05 послідовно.

— Нік Кокс

Я не знаю ... можливо, ми повинні запустити подвійний завантажувальний інструмент і обчислити довірчий інтервал для

-значення! Чесно кажучи, я зазначив би: "Результати були важливими для кордонів,

". У цей момент ви розщеплюєте волосся, і всі раптом пам’ятають, що 1/20 шансів на помилковий позитив - це абсолютно довільний спосіб керувати наукою.

p

$p$

0.049 < p < 0.050

$0.049 < p < 0.050$

— AdamO

Відповіді:

Тут є два питання:

1) Якщо ви робите тест на офіційну гіпотезу (і якщо ви в курсі p-значення в моїй книзі ви вже є), яке формальне правило відхилення?

При порівнянні статистики тесту з критичними значеннями критичне значення знаходиться в області відхилення . Хоча ця формальність не має великого значення, коли все безперервно, це має значення, коли розподіл тестової статистики дискретний.

Відповідно, порівнюючи p-значення та рівні значущості, правило:

Відхиліть, якщо $p\leq\alpha$

Зверніть увагу , що, навіть якщо ви округляється своїм р-значення до 0,05, на самому ділі , навіть якщо $p$ значення було саме 0,05, формально, ви все одно повинні відкинути .

2) Що стосується того, "що нам говорить наша p-величина", то припускаючи, що ви навіть можете інтерпретувати p-значення як "доказ проти нуля" (скажімо, що думка про це дещо розділена), 0,0499 та 0,0501 не є насправді говорять різні дані про дані (розміри ефектів, як правило, майже однакові).

Моя пропозиція полягала б у тому, щоб (1) офіційно відхилити нуль і, можливо, зазначити, що навіть якби це було саме 0,05, його все одно слід відхилити; (2) прийняти до відома , що немає нічого особливо спеціального про $\alpha = 0.05$ , і це дуже близько до того кордоні - навіть трохи менше порогового значення не призведе до відмови.

— Glen_b -Встановити Моніку
джерело

Але, знову ж таки, ви можете використовувати дуже схожі аргументи, щоб не відкидати null. Нічого особливого немає в 0,05, якби ви вибрали 0,06 як свій ліміт, ви, ймовірно, не задавали б питання, але ситуація не була б такою різною ... Швидше у цих ситуаціях я б запитав: "що реально- життєвий сенс цього результату? ". Наприклад, якби це був біологічний експеримент, я би шукав біологічну значимість конкретного результату, повідомляв p-значення таким, яким він є, і, скоріше, коментувати біологію.

— nico

@nico це вже було моїм пунктом (2); він заперечує надмірно покладатися на формальний підхід у (1)

— Glen_b -Встановити Моніку

Дякую, Глен та Ніко. Ця частина даних була вторинною для наших експериментів, тому ми щойно закінчили звітувати про значення як є. У будь-якому випадку я відзначаю це як прийняту відповідь. Ще раз дякую всім, хто брав участь у відповідях чи коментарях.

— Іслам Ель-Набараві

Він лежить в очах глядача.

$\alpha$ $\alpha=0.05$

Тож це дійсно зводиться до того, що раніше коментував AlefSin. Не може бути "правильної відповіді" на ваше запитання. Повідомте, що ви отримали, округлили чи ні.

Існує величезна література про «значення значущості»; див., наприклад, нещодавній документ одного з провідних німецьких статистиків Вальтера Кремера на тему "Культ статистичної значущості - що економісти повинні і чого не повинні робити, щоб їх дані обговорили", Schmollers Jahrbuch 131 , 455-468, 2011.

— Черепна хірургія
джерело

-6

$p=0.05$

Ключова проблема - це фраза: "Ми натрапили на деякі дані ...".

$p$ $p$

Існує назва такого роду статистичних випадків: днопоглинання даних . Я неоднозначно повідомляю про це у статті як про цікаву гіпотезу; чи є це якась фізична причина, яку ви очікуєте, що вона буде дотримуватися?

Однак є один вихід. Можливо , ви вирішили апріорі виконувати тільки цей один тест на тільки цей один набір даних. Ви написали це в своєму зошиті в лабораторії, перед кимось, щоб ви могли це довести пізніше. Тоді ви зробили тест.

$p=0.05$

— Майк Маккой
джерело

Це може надмірно покладатися на конкретний вибір фразування; ти припускаєш досить багато з того, що може бути просто поганим вибором слів - не всі тут мають англійську мову як першу мову. Це, безумовно, варто підняти як потенційну проблему, але просто так ретельно заявляти речі ("абсолютно не") означає, що ви знаєте більше, ніж ми можемо сказати з того, що тут. (Далі, посилання на "зошит із лабораторією" означає, що ОП працює в лабораторії. Сумніваюсь, що це так. Знову ви маєте на увазі, що ви знаєте більше, ніж у нас тут.)

— Glen_b -Встановити Моніку

Майк Маккой, дякую за вашу відповідь, але я боюся, що в цьому випадку Glen_b вірно. Я не є носієм англійської мови, і хоча я прагну писати та говорити так само вільно, наскільки дозволяють мої навички, використання та конотація продовжують уникати мене. Отже, у цьому конкретному випадку ми не пробували різних речей, поки не знайшли щось важливе. Власне, те, що ми намагалися довести, це те, що не було статистично значущого збільшення деякого значення помилки, і в одному конкретному випадку ми виявили, що помилка насправді зменшилася, і коли ми провели тест W, саме тут ми отримали 0,0499 .

— Іслам Ель-Набараві

Майку, я також не бачив проблеми у формулюванні питання. І, схоже, ніхто більше не бачив ознак переслідування даних, видобутку, днопоглиблення, що б там не було ... І це, безумовно, лежить на оці очі. Існує не математичний факт, а правило прийняття рішення, обране статистиком. Перечитайте, що написав АлефСін, Глен у своєму пункті (2).

— Skullduggery

@ IslamEl-Nabarawy Якщо ви хотіли встановити еквівалентність / відсутність різниці, у вас є багато інших проблем, ніж те, як інтерпретувати значення, близьке до порогу або потенційного прослуховування даних. Просто знаходження р -значення трохи більше .05 (або будь-якого рівня помилки ви виберете), безумовно, недостатньо. Подивіться "тестування на еквівалентність" тут і в іншому місці або задайте питання про це, оскільки це зовсім інша проблема.

— Гала

"Однак є один вихід. Можливо, ти вирішив апріорі виконати саме цей тест лише на цьому наборі даних. Це ти записав у свій лабораторний зошит перед кимось, щоб ти міг це довести пізніше. Потім Ви зробили тест. Якщо ви зробили це, то ваш результат дійсний на рівні p = 0,05, і ви можете створити його на користь скептиків, як я. Інакше, вибачте, це не є статистично значимим результатом " Говоріть про вину, поки не доведено невинний. Отже, за відсутності судово-медичних доказів, що виключають академічну нечесність, аналіз марний? Шиш.

— GoF_Logistic