Чому статистики кажуть, що несуттєвий результат означає "ви не можете відхилити нуль" на відміну від прийняття нульової гіпотези?

44

Традиційні статистичні тести, як і тест двох вибірок, зосереджуються на спробі усунути гіпотезу про відсутність різниці між функцією двох незалежних вибірок. Потім ми вибираємо рівень довіри і кажемо, що якщо різниця засобів перевищує рівень 95%, ми можемо відкинути нульову гіпотезу. Якщо ні, ми "не можемо відкинути нульову гіпотезу". Це, мабуть, означає, що ми також не можемо його прийняти. Чи означає це, що ми не впевнені, чи справжня нульова гіпотеза?

Тепер я хочу розробити тест, де моя гіпотеза полягає в тому, що функція двох вибірок однакова (що протилежно традиційним тестам статистики, де гіпотеза полягає у тому, що обидві вибірки різні). Отже, моєю нульовою гіпотезою стає те, що два зразки різні. Як я повинен розробити такий тест? Чи буде це так просто, як сказати, що якщо р-значення менше 5%, ми можемо прийняти гіпотезу про відсутність суттєвої різниці?

— ryu576
джерело

Дуже пов’язане: чи означає невдача відхилити нуль у підході Неймана-Пірсона, що його слід «прийняти»?

— Амеба каже, що повернеться до Моніки

різниця засобів перевищує рівень 95%, ми можемо відкинути нульову гіпотезу. 95% не є "рівнем". Тут у 95 випадках із 100 випадків (порівняння) різниця у статистиці вибірки виникає через коливання вибірки. це означає, що нуль прийнято в альфа = .05. Сказати рівень 95% - це невірний термін.

— Subhash C. Davar

44

Традиційно нульова гіпотеза - це бальне значення. (Зазвичай це , але насправді може бути будь-яке бальне значення.) Альтернативна гіпотеза полягає в тому, що справжнє значення - це будь-яке значення, відмінне від нульового значення . Оскільки безперервна змінна (така як середня різниця) може приймати значення, яке нескінченно близьке до нульового значення, але все ще не зовсім рівне, і, таким чином, робить нульову гіпотезу помилковою, традиційна точкова нульова гіпотеза не може бути доведена. $0$

$0$ $0.01$ $(-4.99,\ 5.01)$ $0$ $0.01$ $(0.005,\ 0.015)$

$0$

$0$ для всього, що може вас турбувати, ви виконуєте однобічний тест, щоб визначити, чи спостережуване значення менше верхньої межі цього інтервалу, і інший однобічний тест, щоб побачити, чи більший він від нижньої межі. Якщо обидва ці тести є значущими, то ви відкинули гіпотезу про те, що справжнє значення перебуває поза інтервалом, який вам цікавий. Якщо один (або обидва) несуттєві, ви не зможете відкинути гіпотезу про те, що справжнє значення знаходиться поза інтервалом.

$(-0.02,\ 0.02)$ $0.01$ $0$ $(-0.02,\ 0.02)$ , що спочатку може здатися неприємним, але цілком відповідає логіці тестування гіпотез.)

— gung - Відновити Моніку
джерело

1

H_{0}

$H_0$

H_{0}

$H_0$

1

H_{0}

$H_0$

H_{0} : δ \leq 0

$H_0: \delta\le 0$

δ

$\delta$

> 0

$>0$

< 0

$<0$

1

H_{0}

$H_0$

4

δ \neq 0

$\delta \neq 0$

δ \leq 0

$\delta \leq 0$

H_{0} : δ \leq 0

$H_0:\,\delta \leq 0$

1

H_{0} : δ < 0

$H_0:\delta<0$

H_{0} : δ = 0

$H_0:\delta=0$

δ > 0

$\delta>0$

δ < 0

$\delta<0$ насправді може призвести до прийняття одного з них (або до непереконливого результату). Плюс однобічне тестування має більше сенсу з байєсівської точки зору. Плюс наукове передбачення має мати напрямок. Я думаю, я починаю думати, що однобічне тестування недостатньо оцінено.

— амеба каже, що повернеться до Моніки

28

Розглянемо випадок, коли нульова гіпотеза полягає в тому, що монета має 2 головки, тобто ймовірність головок дорівнює 1. Тепер дані є результатом одноразового перегортання монети та побачення голов. Це призводить до отримання p-значення 1,0, яке більше, ніж у всіх розумних альфа. Чи означає це, що монета 2 головки? це могло бути, але це може бути і справедлива монета, і ми бачили голови через випадковість (це траплялося б 50% часу з справедливою монетою). Тож високе значення р у цьому випадку говорить про те, що спостережувані дані цілком відповідають нулю, але також відповідають іншим можливостям.

Так само, як вирок у суді "Не винний" може означати, що підсудний невинний, це може бути і тому, що підсудний винен, але доказів недостатньо. Те ж саме з нульовою гіпотезою ми не можемо відкинути, оскільки нуль може бути істинним, або може бути, у нас не вистачає доказів для відхилення, навіть якщо це неправда.

— Грег Сніг
джерело

3

Мені подобається приклад "Не винен". Якщо піти на крок далі, повторне відкриття справ на основі доказів ДНК, які ми не знали, як використовувати в минулому, і перекриття деяких переконань - це прекрасний приклад того, як додавати більше даних може бути все, що потрібно, щоб мати достатньо доказів.

— Thomas Speidel

7

Відсутність доказів не є свідченням його відсутності (назва Altman, Bland paper of BMJ). Р-значення свідчать про відсутність лише тоді, коли ми вважаємо їх значущими. Інакше вони нічого нам не кажуть. Отже, відсутність доказів. Іншими словами: ми не знаємо, і більше даних може допомогти.

— Томас Шпідель
джерело

5

$H_0$

$H_1$ $H_0$

$H_0$

Якщо у нас є дві вибірки, ми очікуємо, що вони будуть однаково розподілені, то наша нульова гіпотеза - це вибірки однакові. Якщо у нас є два зразки, від яких ми могли б очікувати, що вони будуть (дико) різними, наша нульова гіпотеза полягає в тому, що вони різні.

— SomeEE
джерело

А що, якщо у нас немає очікувань .. можливо, ми просто не знаємо. Крім того, як буде діяти правило прийняття рішення, якщо ми хочемо відкинути гіпотезу про те, що обидві вибірки різні?

— ryu576

Якщо у вас немає сподівань, ви хочете зберегти обидва типи помилок невеликими, але це не завжди можливо. Для цього вам потрібна додаткова змінна (наприклад, збільшення розміру вибірки).

— SomeEE

2

Оскільки ми можемо відхилити нуль, але не довести його правдою, то нуль зазвичай є протилежною тому, що ми хочемо довести чи вважати істинним. Якщо ми вважаємо, що є різниця, то нуль не повинен бути різницею, щоб ви могли спростувати це.

— Грег Сніг

@Greg Це хороший підхід, якщо ви знаєте, яким саме ви хочете бути правдою, що, мабуть, є звичайним випадком.

— SomeEE

1

"Що ви очікуєте" і "що вони різні" взагалі не можуть бути статистичними гіпотезами, оскільки вони не є кількісними. Це досягає сутності справи: асиметрія в ролях між нульовою та альтернативною гіпотезами випливає із здатності визначати розподіл вибірки тестової статистики під нуль, порівняно з необхідністю параметризації розподілу за розміром ефекту під альтернативна гіпотеза. Також це не так, ми "мінімізуємо помилку типу I": цього ніколи не буває (мінімум завжди дорівнює 0). Тести шукають баланс між коефіцієнтами помилок типу I та II.

— whuber