Чому ми відкидаємо нульову гіпотезу на рівні 0,05, а не на рівні 0,5 (як це робимо в Класифікації)

Тестування гіпотез схоже на проблему Класифікації. Отже, скажімо, у нас є 2 можливі мітки для спостереження (суб'єкта) - "Винні проти Невинні". Нехай невинувачений є нікчемною гіпотезою. Якщо ми розглянули проблему з точки зору Класифікації, ми би підготували Класифікатор, який би передбачив ймовірність приналежності суб'єкта в кожному з 2 класів за даними Дані. Тоді ми б вибирали Клас з найбільшою ймовірністю. У цьому випадку 0,5 ймовірності буде природним порогом. Ми можемо змінювати поріг у випадку, якщо ми поклали різні витрати на помилки False Positive vs. False Negative. Але рідко ми могли би бути настільки екстремальними, як встановлення порогу в 0,05, тобто призначити предмет класу "Винні", лише якщо ймовірність становить 0,95 або вище. Але якщо я добре розумію, це те, що ми робимо як стандартну практику, коли ми розглядаємо ту ж проблему, що і проблему тестування гіпотези. В останньому випадку ми не будемо присвоювати мітку "Невинувачений" - рівнозначну присвоєнню мітки "Винний" - лише в тому випадку, якщо ймовірність бути "Невинуватою" менше 5%. І, можливо, це може мати сенс, якщо ми справді хочемо уникати засудження невинних людей. Але чому це правило має панувати у всіх Доменах та всіх випадках?

Вирішення, яку гіпотезу прийняти, еквівалентно визначенню Оцінювача Істини за даними Дані. Оцінюючи максимальну ймовірність, ми приймаємо гіпотезу, яка з більшою ймовірністю надається Даними - не обов'язково, хоча і переважно більш імовірно. Дивіться графік нижче:

Використовуючи підхід максимальної ймовірності, ми б віддавали перевагу Альтернативній гіпотезі в цьому прикладі, якби значення предиктора було вище 3, наприклад, 4, хоча ймовірність того, що це значення було виведене з нульової гіпотези, було б більше 0,05.

І хоча приклад, з якого я почав цю посаду, може бути емоційно зарядженим, ми могли б подумати про інші випадки, наприклад, технічне вдосконалення. Чому ми повинні надавати таку перевагу Status Quo, коли Дані говорять нам, що ймовірність того, що нове рішення є поліпшенням, більша, ніж ймовірність того, що його немає?

Скажіть, ви закінчилися в суді, а ви цього не зробили. Ви вважаєте, що справедливо, що у вас все ще є 50% шансів бути винним? Чи є 50% шансу бути невинним "винним поза розумним сумнівом"? Чи вважаєте ви справедливим, що у вас був 5% шанс бути винним, хоча ви цього не зробили? Якби я був у суді, я вважав би 5% недостатньо консервативним.

$\pi$$e$

У відповідь на ваше редагування питання:

$\alpha$

Це так, як ви кажете - це залежить від того, наскільки важливі помилкові помилки та помилкові негативні помилки.

У прикладі, який ви використовуєте, як уже відповів Маартен Буїс, бути засудженим, якщо є 50% шансів на те, що ви були невинні, навряд чи справедливо.

Застосовуючи це для дослідження, погляньте так: Уявіть, що ви хочете знати, чи допомагає певний новий медикамент проти певного захворювання. Скажіть, що ви виявите різницю між вашою групою лікування та контрольною групою на користь лікування. Чудово! Ліки повинні діяти, правда? Можна відкинути нульову гіпотезу про те, що ліки не діють. Ваша р -значення становить 0,49! Більше шансів, що знайдений вами ефект був заснований на істині, а не випадково!
Тепер врахуйте це: ліки має неприємні негативні наслідки. Ви хочете взяти його, тільки якщо переконаєтесь, що це працює. А ти? Ні, тому що все ще існує 51% шансів, що різниця, яку ви виявили між двома групами, була чисто випадковою.

Я можу собі уявити, що є домени, де ви задоволені, наприклад, 10%. Я бачив статті, де прийнято 10%. Я також бачив статті, де обирали 2%. Це залежить від того, наскільки важливим ви вважаєте, що ви переконані, що відхилення нульової гіпотези буде грунтуватися на правді, а не на випадковості. Я навряд чи уявляю собі ситуацію, коли ти задоволений 50% шансом, що різниця, яку ти знайшов, базувалася на чистому везінні.

$.05$$.50$

Ви приймаєте "[h] ypothesis testing [щоб бути] подібним до проблеми класифікації". Удавана схожість тут лише поверхнева; це насправді не є правдивим у змістовному сенсі.

$.67$$.67$

$0$$0$$100\%$$0.\bar{0}$$0$$0$$p<.5$). Як результат, ви завжди зробите висновок, що нульова гіпотеза помилкова. Щоб зробити це явним, помилкове передумови у вашому запитанні полягає в тому, що є одна, змістовна синя лінія (як зображено на вашій фігурі), яку можна використовувати як ви пропонуєте.

$.50$

Щоб додати до дуже хороших попередніх відповідей: Так, 5% є довільним, але незалежно від конкретного порогу, який ви обрали, він повинен бути досить малим, інакше тестування гіпотез має мало сенсу.

Ви шукаєте ефект і хочете переконатися, що ваші результати обумовлені не лише випадковістю. Тоді ви встановлюєте рівень значущості, який в основному говорить: "Якби насправді ефекту не було (нульова гіпотеза правдива), це була б ймовірність все-таки отримати такі результати (або більш екстремальні) випадковим випадком" . Якщо встановити це занадто високо, це призведе до безлічі помилкових позитивних результатів і підірве вашу здатність отримати змістовну відповідь на ваше дослідницьке питання.

Як завжди, йдеться про компроміс, тому дослідницька спільнота придумала цей 5% керівний принцип. Але в різних галузях різне. У фізиці частинок це більше схоже на 0,00001% або щось подібне.

Класифікація та тестування гіпотез різні та використовуються по-різному . У більшості випадків люди користуються

• "Класифікація" "для виконання завдання" класифікувати щось за загальними якостями або характеристиками ".
• І використовуйте "тестування гіпотез", щоб перевірити деякі "значні відкриття".

Зауважимо, що при тестуванні гіпотез "нульова гіпотеза" є "здоровим глуздом", але якщо ми можемо відкинути нульові гіпотези, ми маємо перерву.

Ось чому у нас є більш суворі критерії в тестуванні гіпотез. Розглянемо приклад розробки нових перетяжок, ми хочемо бути дуже обережними, щоб сказати, що це важливо і ефективно.