Чому погано навчати студентів, що р-значення - це ймовірність того, що результати є випадковими?

34

Може хтось, будь ласка, запропонує приємне пояснення, чому це не гарна ідея навчити студентів, що значення p - це проблема (їх результати обумовлені випадковим випадком). Я розумію, що р-значення є проблемою (отримання більш екстремальних даних | нульова гіпотеза правдива).

Мене реально цікавить, яка шкода сказати їм, що це колишнє (окрім того, що це просто не так).

p-value randomness teaching

— Патрік
джерело

43

Тому що це неправильно?

— whuber

6

Можливо, те, що ви хочете, - простий приклад, щоб показати, що це не просто неправильно, але й погано?

— Карл

2

Деякі речі - це фактично фактично, Патрік, а не думка: Пі, наприклад, не дорівнює трьом (незважаючи на спроби законодавчого регулювання ). Але ваш коментар справді є корисним уточненням: він пропонує вам не запитувати про шкоду навчитися неправильному, але справді шукаєте причин, щоб пояснити різницю людям.

— whuber

2

Ці питання хороші для обговорення на сайті stats.stackexchange.com/questions/5591/… , навіть серед відповідей з нижчим голосом (ІМХО).

— whuber

1

Так, Карл, я думаю, я шукаю приклади реального світу. Тим, хто займається дослідженнями на основі спостережень (наприклад, наука про навколишнє середовище, екологія, науки про дику природу), було б чудово. Я прочитав цю тему (whuber) перед тим, як опублікувати це разом із кількома пабами. Дякую за це, хоча.

— Патрік

25

У мене значення іншої інтерпретації значення неправильного твердження, ніж у @Karl. Я думаю, що це твердження про дані, а не про нульові. Я розумію це як прохання ймовірності отримати вашу оцінку через випадковість. Я не знаю, що це означає --- це не чітко визначена претензія.

Але я розумію, що мається на увазі під ймовірністю отримання моєї оцінки випадково, враховуючи, що справжня оцінка дорівнює певній величині. Наприклад, я можу зрозуміти, що означає отримати дуже велику різницю середніх висот між чоловіками та жінками, враховуючи, що їх середній зріст насправді однаковий. Це добре вказано. І саме це дає p-значення. Те, що не вистачає в неправильному твердженні, є умовою, що нуль є істинним.

Тепер ми можемо заперечити, що ця заява не є ідеальною (наприклад, шанс отримати точне значення для оцінки, наприклад, 0). Але це набагато краще, ніж спосіб, який би більшість інтерпретував p-значення.

Ключовий момент, який я повторюю знову і знову, коли навчаю тестування гіпотез, - "Перший крок - це припустити, що нульова гіпотеза є істинною. Все розраховується з урахуванням цього припущення". Якщо люди це пам’ятають, це дуже добре.

— Чарлі
джерело

О, це мені добре виглядає. Я бачу, що я зазначив той самий пункт, не помічаючи [зітхання] (+1)

— кон'югатпріор

Але що з "в чому шкода"?

— rolando2

15

$\text{H}_0$ $\Pr(\text{H}_0)$ $\Pr(\text{H}_0 | \text{data})$

$\Pr(\text{H}_0 | \text{data})$ може бути зовсім іншим, ніж значення p, і тому інтерпретувати значення p таким чином може бути серйозно оманливим.

Найпростіша ілюстрація: скажіть, що попередня, досить мала, але в них досить мало даних, і тому значення p велике (скажімо, 0,3), але заднє, , все-таки буде зовсім невеликим. [Але, можливо, цей приклад не такий цікавий.] $\Pr(H_0)$ $\Pr(\text{H}_0|\text{data})$

— Карл
джерело

Тож Pr (H0 | дані) == спробувати (їх результати обумовлені [випадковим] випадком)?

— Патрік

@Patrick - так.

— Карл

1

@Patrick - ні, точно не. У класичному тестуванні гіпотез не має сенсу.

Pr (H_{0} | anything)

$\Pr(H_0|\text{anything})$

— whuber

@whuber - але в цьому справа. "Проблема (їх результати обумовлені [випадковою] випадковістю)" насправді яку, на мою думку, слід записати як . Це може мати сенс (приори + Байєс), але це не р-значення.

Pr (H_{0})

$\Pr(H_0)$

Pr (H_{0} | data)

$\Pr(H_0 | \text{data})$

— Карл

2

Хм, я думаю, я все ще не дотримуюся, хоча я вдячний, що ти посилався на Бейса та попередні розповсюдження, щоб дати контекст вашій відповіді та коментарям, які інакше викликають спантеличення. Це, можливо, тому, що я трактую "висновки", щоб означати "дані", а не " ". Важко обернути свою думку навколо поняття "нульова гіпотеза обумовлена випадковістю" навіть у байєсівській моделі. (У налаштуваннях Байєса це твердження не додасть жодної інформації, яка не передбачається спочатку: всі гіпотези є випадковими змінними.)

H_{0}

$H_0$

— whuber

14

Я додам пізню відповідь з точки зору (колишнього) студента: ІМХО шкода не може бути відокремлена від її помилки.

Цей тип неправильних "дидактичних наближень / ярликів" може створити велику плутанину у студентів, які усвідомлюють, що вони не можуть логічно зрозуміти твердження, але припускаючи, що те, що навчається їм правильно, вони не усвідомлюють, що вони не здатні його зрозуміти. бо це не правильно.

Це не впливає на учнів, які просто запам'ятовують представлені їм правила. Але це вимагає від студентів, які навчаються, розуміючи, щоб бути досить хорошими

самі прийти до правильного рішення
будьте досить добрі, щоб вони могли бути впевнені, що вони праві
і зробіть висновок, що їх вчать фігня (з певних дидактичних причин).

Я не кажу, що не існує дійсних дидактичних ярликів. Але IMHO, коли такий ярлик зроблений, це слід зазначити (наприклад, як "для полегшення аргументу, ми припускаємо / наближаємо це ...").
Однак у цьому конкретному випадку я вважаю, що це занадто оманливо, щоб мати користь.

— cbeleites підтримує Моніку
джерело

1

+1 Це дуже хороший момент, якщо ви навчаєте учнів чомусь неправильним, ви заохочуєте їх побудувати модель того, як працює статистика, яка є несправною, і цілком може спричинити їх неправильне розуміння інших елементів статистики, які містяться в програмі ( наприклад, який довірчий інтервал - якщо ви спонукаєте учнів думати, що гіпотеза може бути приєднана до частої ймовірності, то чому не можна застосувати її до гіпотези, що справжнє значення лежить у певному інтервалі). Розуміння - це справжня мета виховання, і для цього потрібна точність.

— Дікран Марсупіал

8

Посилаючись безпосередньо на питання: Де шкода?

На мою думку, відповідь на це питання лежить у звороті твердження: "Значення р - це ймовірність того, що результати з'являються через випадковий шанс". Якщо хтось вірить у це, то також, ймовірно, вірить наступному: "[1- (p-значення)] - це ймовірність того, що результати НЕ обумовлені випадковим випадком".

Шкода тоді полягає у другому твердженні, оскільки, враховуючи спосіб роботи мозку більшості людей, це твердження значно переоцінює, наскільки ми впевнені у конкретних значеннях оцінюваного параметра.

— Д. Л. Далі
джерело

6

Ось простий приклад, який я використовую:

Припустимо, наша нікчемна гіпотеза полягає в тому, що ми перегортаємо монету з двома головами (так проба (голови) = 1). Тепер ми перевертаємо монету один раз і отримуємо голови, значення p для цього дорівнює 1, значить, це означає, що ми маємо 100% шанс мати монету з двома головами?

Найважливіша річ у тому, що якби ми перевернули хвости, то p-значення було б 0, а ймовірність наявності монети з двома головами була б 0, тому вони відповідають у цьому випадку, але не вище. Значення р 1 вище просто означає, що те, що ми спостерігали, цілком відповідає гіпотезі про монету з двома головами, але це не доводить, що монета є двоголовою.

Крім того, якщо ми робимо статистику частотистів, то нульова гіпотеза є або Істинною, або Хибною (ми просто не знаємо, яка), і робити (частолістські) імовірнісні твердження щодо нульової гіпотези безглуздо. Якщо ви хочете поговорити про ймовірність гіпотези, то створіть належну байєсівську статистику, використовуйте байєсівське визначення ймовірності, почніть з попереднього та обчисліть задню ймовірність того, що гіпотеза є правдивою. Просто не плутайте значення р із байєсівською задньою частиною.

— Грег Сніг
джерело

3

Добре інше, трохи інше сприймайте це:

Перша основна проблема - це фраза "через [випадковий] шанс". Ідея невизначеного «шансу» природно виникає у студентів, але небезпечно чітко думати про невизначеність та катастрофічно робити обґрунтовану статистику. З чимось на зразок послідовності обертів монети легко припустити, що "випадковість" описується установкою Бінома з вірогідністю 0,5. У цьому є певна природність, але зі статистичної точки зору це не природніше, ніж припускати 0,6 чи щось інше. А для інших менш "очевидних" прикладів, наприклад, із залученням реальних параметрів, зовсім не корисно думати про те, як виглядатиме "шанс".

Що стосується питання, ключовою ідеєю є розуміння того, який тип "випадковості" описується H0, тобто яка реальна вірогідність / DGP H0 назви. Як тільки ця концепція діє, студенти, нарешті, перестають говорити про те, що відбувається «випадково», і починають запитувати, що H0 насправді є. (Вони також з'ясовують, що речі можуть узгоджуватися з досить широким розмаїттям Hs, тому вони отримують перевагу на довірчих інтервалах, через перевернуті тести).

Друга проблема полягає в тому, що якщо ви на шляху до визначення p-значень Фішера, вам слід (імхо) завжди пояснювати це спочатку з точки зору узгодженості даних з H0, оскільки суть p - це бачити, а не інтерпретувати область хвоста як якась «випадкова» діяльність (або відверто трактувати це взагалі). Це, очевидно, питання риторичного наголосу, очевидно, але, здається, допомагає.

Коротше кажучи, шкода полягає в тому, що такий спосіб опису речей не узагальнить жодну нетривіальну модель, яку вони згодом можуть спробувати продумати. У гіршому випадку це може просто додати почуття таємничості, що вивчення статистики вже породжує у таких людей, на які спрямовані описи, що наводяться на душу.

— сполученийпріор
джерело

1

Якщо я розділю, "значення p - це ймовірність того, що ефект є наслідком випадковості", мабуть, це означає, що ефект викликаний випадковістю. Але кожен ефект частково викликаний випадковістю. На уроці статистики, де пояснюється потреба спробувати бачити через випадкову мінливість, це досить магічне та переборливе твердження. Він нав'язує p-значеннями повноважень, яких вони не мають.

Якщо ви визначаєте випадковість у конкретному випадку як нульову гіпотезу, то ви заявляєте, що значення p дає ймовірність того, що спостережуваний ефект викликаний нульовою гіпотезою. Це здається жахливо близьким до правильного твердження, але твердження про те, що умова про ймовірність є причиною цієї ймовірності, знову перевищує. Правильне твердження про те, що р-значення - це ймовірність ефекту, що дається нульовою гіпотезою, є істинним, не приписує нульовий ефект. Причини різні, включаючи справжній ефект, мінливість навколо ефекту та випадковий шанс. Значення р не вимірює ймовірність будь-якого з них.

— Джон
джерело