Нещодавно я знайшов у праці Кламмера та ін. твердження, що р-значення повинні розподілятися рівномірно. Я вірю авторам, але не можу зрозуміти, чому це так.

Кламер, А.А., Парк, CY та Стаффорд Ноубл, США (2009) Статистична калібрування функції SEQUEST XCorr . Журнал Proteome Research . 8 (4): 2106–2113.

Щоб трохи уточнити. Р-значення розподіляється рівномірно, коли нульова гіпотеза є істинною та виконуються всі інші припущення. Причиною цього є насправді визначення альфа як ймовірності помилки I типу. Ми хочемо, щоб ймовірність відхилення справжньої нульової гіпотези була альфа, ми відкидаємо, коли спостерігається , єдиний спосіб, коли це відбувається для будь-якого значення альфа, коли значення р походить від рівномірного розповсюдження. Вся суть використання правильного розподілу (нормального, t, f, чіска тощо) полягає в перетворенні з тестової статистики в рівномірне p-значення. Якщо нульова гіпотеза помилкова, то розподіл p-значення (сподіваємось) буде більш зваженим у напрямку 0.$\text{p-value} < \alpha$

Pvalue.norm.simІ Pvalue.binom.simфункції у TeachingDemos пакет для R буде імітувати кілька наборів даних, обчислити р-значення і побудувати їх , щоб продемонструвати цю ідею.

Також дивіться:

Мердок, D, Цай, Y та Адкок, Дж. (2008). P-значення - випадкові змінні. Американський статистик , 62 , 242-245.

детальніше.

Редагувати:

Оскільки люди все ще читають цю відповідь та коментують, я подумав, що звернусь до коментаря @ whuber.

Це правда, що при використанні складеної нульової гіпотези на зразок що р-значення будуть розподілені рівномірно лише тоді, коли 2 засоби точно рівні, і не будуть рівномірними, якщо - будь-яке значення, менше ніж . Це можна легко побачити за допомогою функції та встановити її для проведення одностороннього тесту та моделювання за допомогою симуляції та гіпотезованих засобів, що відрізняються (але у напрямку, щоб зробити нуль справжнім).μ 1 μ $\mu_1 \leq \mu_2$$\mu_1$$\mu_2$Pvalue.norm.sim

Що стосується статистичної теорії, це не має значення. Подумайте, якби я стверджував, що я вищий за кожного члена вашої родини, одним із способів перевірити це твердження було б порівняння мого зросту з ростом кожного члена вашої родини один за одним. Іншим варіантом було б знайти члена вашої родини, який є найвищим, і порівняти їх зріст з моїм. Якщо я вище, ніж одна людина, то я і вище за решту, і моє твердження є правдивим, якщо я не вище, ніж одна людина, то моя вимога помилкова. Тестування складеного нуля можна розглядати як подібний процес, а не тестування всіх можливих комбінацій, де ми можемо перевірити лише частину рівності, тому що якщо ми можемо відхилити це на користьμ 1 = μ 2 μ 1 > μ 2 μ 1 < μ 2 μ 1 < μ 2 α μ 1 μ 2$\mu_1 \leq \mu_2$$\mu_1 = \mu_2$$\mu_1 > \mu_2$тоді ми знаємо, що можемо також відхилити всі можливості . Якщо ми подивимось на розподіл p-значень у випадках, коли то розподіл не буде ідеально рівномірним, але матиме більше значень ближче до 1, ніж до 0, тобто ймовірність помилки I типу буде меншою, ніж вибране значення робить його консервативним тестом. Уніформа стає обмежуючим розподілом, оскільки наближається до$\mu_1 < \mu_2$$\mu_1 < \mu_2$$\alpha$$\mu_1$$\mu_2$(люди, які є більш актуальними в умовах теорії статистики, напевно, могли б констатувати це краще з точки зору розподілу супрему чи чогось подібного). Таким чином, будуючи наш тест, припускаючи рівну частину нуля навіть тоді, коли нуль є складовою, тоді ми проектуємо наш тест, щоб мати ймовірність помилки I типу, що становить максимум для будь-яких умов, коли нуль справжній.$\alpha$

$T$$F(t)$$P=F(T)$П

Цей результат є загальним: розподіл обертової CDF випадкової величини є рівномірним на .$[0,1]$

Нехай позначає випадкову величину з кумулятивною функцією розподілу для всіх . Припускаючи, що є зворотним, ми можемо отримати розподіл випадкового р-значення наступним чином:$T$$F(t) \equiv \Pr(T<t)$$t$$F$$P = F(T)$

з чого можна зробити висновок, що розподіл є рівномірним на .$P$$[0,1]$

Ця відповідь схожа на Чарлі, але уникає необхідності визначати .$t = F^{-1}(p)$

Просте моделювання розподілу p-значень у випадку лінійної регресії між двома незалежними змінними:

# estimated model is: y = a0 + a1*x + e

obs<-100                # obs in each single regression
Nloops<-1000            # number of experiments
output<-numeric(Nloops) # vector holding p-values of estimated a1 parameter from Nloops experiments

for(i in seq_along(output)){

x<-rnorm(obs) 
y<-rnorm(obs)

# x and y are independent, so null hypothesis is true
output[i] <-(summary(lm(y~x)) $ coefficients)[2,4] # we grab p-value of a1

if(i%%100==0){cat(i,"from",Nloops,date(),"\n")} # after each 100 iteration info is printed

}

plot(hist(output), main="Histogram of a1 p-values")
ks.test(output,"punif") # Null hypothesis is that output distr. is uniform

Я не думаю, що більшість цих відповідей насправді відповідають на це питання в цілому. Вони обмежуються випадком, коли існує проста нульова гіпотеза і коли тестова статистика має неперевернутий CDF (як у безперервній випадковій змінній, яка має різко зростаючий CDF). Ці випадки є випадками, про які більшість людей схильні дбати за допомогою z-тесту та t-тесту, хоча для тестування біноміального середнього (наприклад) у такого немає CDF. Те, що надано вище, здається правильним для моїх очей для цих обмежених випадків.

Якщо нульові гіпотези складені, то справи дещо складніші. Найбільш загальний доказ цього факту, який я бачив у складеному випадку з використанням деяких припущень щодо регіонів відторгнення, наведено у «Тестуванні статистичних гіпотез» Лемана та Романо на сторінках 63-64. Я спробую відтворити аргумент нижче ...

Ми тестуємо нульову гіпотезу проти альтернативної гіпотези на основі тестової статистики, яку ми будемо позначати як випадкової величини . Тестова статистика припускається з якогось параметричного класу, тобто , де є елементом сімейства розподілів ймовірностей , а - простір параметрів. Нульова гіпотеза та альтернативна гіпотеза утворюють розділ у тому $H_0$$H_1$$X$$X \sim P_\theta$$P_\theta$$\mathcal{P} \equiv \{P_\theta \mid \theta \in \Theta \}$$\Theta$$H_0: \theta \in \Theta_0$$H_1: \theta \in \Theta_1$$\Theta$

Результат тесту може бути позначений де для будь-якого набору визначаємо Тут - наш рівень значущості, а позначає область відхилення тесту на рівень значущості .

Припустимо, регіони відхилення задовольняють якщо . У цьому випадку вкладених областей відхилення корисно визначити не тільки, чи відхилена нульова гіпотеза на заданому рівні значущості , але й визначити найменший рівень значущості, для якого нульова гіпотеза буде відхилена. Цей рівень відомий як значення p , це число дає нам уявлення про наскільки сильні дані (як зображено тестовою статистикою ) суперечать нульовій гіпотезі .

Припустимо, що для деякої і . Припустимо також, що регіони відхилення підпорядковуються зазначеному вище властивості введення. Потім виконується наступне:$X \sim P_\theta$$\theta \in \Theta$$H_0: \theta \in \Theta_0$$R_\alpha$

1. Якщо для всіх , то для , $\sup_{\theta \in \Theta_0} P_\theta(X \in R_\alpha) \leq \alpha$$0 < \alpha < 1$$\theta \in \Theta_0$

   $$P_\theta(\hat{p} \leq u) \leq u \quad \text{for all} \quad 0 \leq u \leq 1.$$

2. Якщо для маємо для всіх , то для маємо $\theta \in \Theta_0$$P_\theta(X \in R_\alpha) = \alpha$$0 < \alpha < 1$$\theta \in \Theta_0$

   $$P_\theta(\hat{p} \leq u) = u \quad \text{for all} \quad 0 \leq u \leq 1.$$

Зверніть увагу, що це перше властивість просто говорить нам про те, що хибнопозитивна швидкість регулюється на шляхом відхилення, коли значення p менше, ніж , а друге властивість говорить нам (з урахуванням додаткового припущення), що значення p рівномірно розподіляються під нулем гіпотеза.$u$$u$

Доказ такий:

1. Нехай , і припустимо для всіх . Тоді за визначенням маємо для всіх . З монотонності та припущення випливає, що для всіх . Випускаючи , випливає, що .$\theta \in \Theta_0$$\sup_{\theta \in \Theta_0} P_\theta(X \in R_\alpha) \leq \alpha$$0 < \alpha < 1$$\hat{p}$$\{\hat{p} \leq u\} \subset \{X \in R_v\}$$u < v$$P_\theta(\hat{p} \leq u) \leq P_\theta(X \in R_v) \leq v$$u < v$$v \searrow u$$P_\theta(\hat{p} \leq u) \leq u$

2. Нехай , і припустимо, що для всіх . Тоді , і за монотонністю випливає, що . Розглядаючи (1), випливає, що . $\theta \in \Theta_0$$P_\theta(X \in R_\alpha) = \alpha$$0 < \alpha < 1$$\{X \in R_u\} \subset \{\hat{p}(X) \leq u\}$$u = P_\theta(X \in R_u) \leq P_\theta(\hat{p} \leq u)$$P_\theta(\hat{p}(X) \leq u) = u$

Зауважимо, що припущення в (2) не виконується, коли статистика тесту є дискретною, навіть якщо нульова гіпотеза проста, а не складна. Візьмемо для прикладу з та . Тобто, переверніть монету десять разів і перевірте, чи справедливо проти упередженого по відношенню до головок (закодовано як 1). Ймовірність побачити 10 голів у 10 ярмаркових монетах - (1/2) ^ 10 = 1/1024. Ймовірність побачити 9 або 10 голів у 10 справедливих монетках - 11/1024. Для будь-якого строго між 1/1024 та 11/1024, ви відхилите нуль, якщо , але у нас немає цього для цих значень коли$X \sim \mathrm{Binom}(10, \theta)$$H_0: \theta = .5$$H_1: \theta > 0.5$$\alpha$$X = 10$$\Pr(X \in R_\alpha) = \alpha$$\alpha$$\theta = 0.5$ . Натомість для таких . $\Pr(X \in R_\alpha) = 1/1024$$\alpha$

Якщо значення р рівномірно розподілені під Н0, це означає, що так само ймовірно буде бачити значення р. 0,05 як значення р., Але це не відповідає дійсності, оскільки рідше спостерігається р- значення .05, ніж значення p .80, тому що саме це визначення нормального розподілу, з якого взято р-значення. У діапазоні нормальності буде більше проб, ніж за межами, за визначенням. Тому більше шансів знайти більші р-значення, ніж менші.