Якщо розподіл тестової статистики є бімодальним, чи значення p означає щось?

Р-значення визначається ймовірністю отримання тестової статистики принаймні такою ж крайньою, як і те, що спостерігається, якщо вважати, що нульова гіпотеза є істинною. Іншими словами,

П (Х \geq т | Н_{0})

$P( X \ge t | H_0 )$ Але що робити, якщо тестова статистика має бімодальний розподіл? чи значення p означає щось у цьому контексті? Наприклад, я буду імітувати деякі бімодальні дані в R:

set.seed(0)
# Generate bi-modal distribution
bimodal <- c(rnorm(n=100,mean=25,sd=3),rnorm(n=100,mean=100,sd=5)) 
hist(bimodal, breaks=100)

введіть тут опис зображення

І припустимо, ми спостерігаємо тестове статистичне значення 60. І ось ми знаємо з картини це значення дуже малоймовірне . Тому в ідеалі я б хотів стати статистичну процедуру, яку я використовую (скажімо, p-значення), щоб виявити це. Але якщо обчислити значення р, як визначено, ми отримаємо досить високе значення р

observed <- 60

# Get P-value
sum(bimodal[bimodal >= 60])/sum(bimodal)
[1] 0.7991993

Якби я не знав розподілу, я б зробив висновок, що те, що я спостерігав, - просто випадковий випадок. Але ми знаємо, що це неправда.

Я думаю, що у мене виникає питання: чому ми, обчислюючи p-значення, обчислюємо ймовірність значень "принаймні настільки ж крайні, як" спостережувані? І якщо я зіткнувся з ситуацією, подібною до тієї, яку я імітував вище, то яке альтернативне рішення?

— Елбі
джерело

Ласкаво просимо у чудовий світ тестування значущості гіпотези! Серйозно: я, чесно кажучи, не можу придумати тестову статистику, яка має бімодальний розподіл під нульовою гіпотезою (що нас цікавить у NHST). Тож +1 для цікавого питання, але я сумніваюся в його практичній актуальності ... хіба ви маєте на увазі конкретний приклад?

— Стефан Коласа

Я згоден з @StephanKolassa; безумовно, є розподіли даних, які є бімодальними, але яка така статистика тесту?

— Пітер Флом - Відновіть Моніку

Я б не погоджувався з характеристикою р-значень, запропонованих першою формулою. Правильне відчуття "принаймні як крайнього" в теорії Неймана-Пірсона полягає в відносній ймовірності, а не в плані звичайного упорядкування дій (як зазначено у формулі). Вони є рівнозначними у багатьох стандартних ситуаціях тестування, але різко відрізняються, коли розподіл вибірки є бімодальним. Отже, ця відмінність вирішить це питання задовільно.

— whuber

@whuber Ви можете, будь ласка, детальніше зупинитися на цьому, може, з простим прикладом?

— Саболч

G_{θ}

$G_\theta$

(θ, θ)

$(\theta,\theta)$

θ \geq 1

$\theta\ge 1$

F_{θ} (x)

$F_\theta(x)$

G_{θ} (x)

$G_\theta(x)$

G_{θ} (- x)

$G_\theta(-x)$

x \in [- 1, 1]

$x \in [-1,1]$

F_{1}

$F_1$

F_{2}

$F_2$

\pm 1 / 2

$\pm 1/2$

X \sim F_{θ}

$X\sim F_\theta$

H_{0} : X \sim F_{1}

$H_0: X\sim F_1$

H_{A} : X \sim F_{2}

$H_A: X\sim F_2$

\pm 1

$\pm 1$

1 / 2

$1/2$

- 1 / 2

$-1/2$

θ = 2

$\theta=2$

Що робить тестову статистику "крайньою", залежить від вашої альтернативи, яка накладає впорядкування (або принаймні часткове замовлення) на вибірковий простір - ви прагнете відхилити ці випадки, які найбільш узгоджуються (у сенсі, що вимірюються тестовою статистикою) з альтернатива.

Коли у вас насправді немає альтернативи, щоб дати вам щось, на що вам найбільше відповідали, ви, по суті, залишаєте ймовірність надати замовлення, що найчастіше спостерігається в точному тесті Фішера. Там імовірність результатів (таблиці 2х2) під нульовим порядком встановлює тестову статистику (так, що "екстремальний" є "низькою ймовірністю").

Якби ви опинилися в ситуації, коли крайній лівий (або крайній правий, або обидва) бімодальний нульовий розподіл асоціювався з тією альтернативою, яка вас зацікавила, ви б не прагнули відкидати тестову статистику 60. Але якщо ви потрапляєте в ситуацію, коли у вас немає такої альтернативи, тоді 60 є неординарними - це низька ймовірність; значення 60 не відповідає вашій моделі і призведе до відхилення.

[Дехто вважає це однією з центральних відмінностей між тестуванням гіпотез Фішерія та Неймана-Пірсона. Вводячи явну альтернативу та співвідношення ймовірностей, низька ймовірність під нулем не обов'язково призведе до того, що ви відхилитесь в рамках Неймана-Пірсона (доки вона порівняно непогана порівняно з альтернативою), тоді як для Фішера, у вас насправді немає альтернативи, і ймовірність, що знаходиться під нулем, - це те, що вас цікавить.]

Я не припускаю, що будь-який підхід є правильним чи неправильним - ви продовжуєте і розробляєте для себе, які саме альтернативи ви прагнете проти влади, будь то конкретна, або просто все, що навряд чи вистачить під нуль. Як тільки ви знаєте, чого хочете, з цього випливає все інше (включаючи те, що означає "принаймні як крайній").

— Glen_b -Встановити Моніку
джерело