Розуміння p-значення

Я знаю, що є багато матеріалів, що пояснюють значення p. Однак концепцію нелегко зрозуміти без додаткових роз'яснень.

Ось визначення p-значення з Вікіпедії:

Значення р - це ймовірність отримання тестової статистики як мінімум настільки ж екстремальної, як та, яка насправді спостерігалася, припускаючи, що нульова гіпотеза є істинною. ( http://en.wikipedia.org/wiki/P-value )

$\min[P(X<x),P(x<X)]$, якщо PDF статистики неоднорідний, де - тестова статистика, а - її значення, отримане в результаті спостереження. Чи це правильно? Якщо це правильно, чи все-таки застосовано використання бімодального PDF статистики? Якщо два піки PDF добре розділені і спостережуване значення знаходиться десь в області низької щільності ймовірності між двома піками, на якому інтервалі p-значення дає ймовірність?$X$$x$

Друге питання про інше визначенні р-значення від Wolfram MathWorld:

Ймовірність того, що змінна прийме значення, яке більше, або дорівнює спостережуваному, цілком випадково ( http://mathworld.wolfram.com/P-Value.html )

Я зрозумів, що словосполучення "строго випадково" слід тлумачити як "припущення до нульової гіпотези". Це так?

Третє питання стосується використання «нульової гіпотези». Припустимо, що хтось хоче наполягати на тому, щоб монета була справедливою. Він висловлює гіпотезу, що відносна частота головок становить 0,5. Тоді нульовою гіпотезою є "відносна частота головок не 0,5". У цьому випадку, хоча обчислити р-значення нульової гіпотези складно, обчислення для альтернативної гіпотези є простим. Звичайно, проблему можна вирішити, замінивши роль двох гіпотез. Моє запитання полягає в тому, що відхилення або прийняття, засноване безпосередньо на p-значенні вихідної альтернативної гіпотези (без введення нульової гіпотези) - це добре чи ні. Якщо це не так, що зазвичай вирішує подібні труднощі при обчисленні p-значення нульової гіпотези?

Я розмістив нове запитання, яке є більш уточненим на основі обговорення в цій темі.

Перша відповідь

Ви повинні думати над поняттям екстремального з точки зору ймовірності статистики тесту, а не з точки зору його значення чи значення випадкової величини, що тестується. Я повідомляю про наступний приклад від Christensen, R. (2005). Тестування Фішера, Неймана, Пірсона та Байєса . Американський статистик , 59 (2), 121–126

Тут - спостереження, другий рядок - це ймовірність дотримати задане спостереження під нульовою гіпотезою θ = 0 , що тут використовується як статистика тестів, третій рядок - значення p . Ми знаходимося тут в рамках тесту Фішера: є одна гіпотеза ( H 0 , в даному випадку θ = 0 ), за якою ми хочемо дізнатися, чи є дані дивними чи ні. Спостереження з найменшою ймовірністю - 2 і 3 з 0,5% кожного. Якщо ви отримаєте 2, наприклад, ймовірність спостерігати щось як імовірне або менш вірогідне ( r = 2 і r = $r$$\theta=0$$p$$H_0$$\theta=0$$r=2$$r=3$) становить 1%. Спостереження не сприяє $r=4$$p$ значення, хоча це ще далі (якщо відношення порядку існує), так як він має більш високу ймовірність бути спостерігається.

Це визначення працює загалом, оскільки вміщує як категоричні, так і багатовимірні змінні, де відношення порядку не визначене. У випадку кількісної змінної ingle, де ви спостерігаєте деякі ухили від найбільш ймовірного результату, може бути доцільним обчислити єдиний хвостовий $p$ значення і врахувати лише спостереження, що знаходяться на одній стороні розподілу тестової статистики.

Друга відповідь

Я повністю не згоден з цим визначенням від Mathworld.

Третя відповідь

Треба сказати, що я не зовсім впевнений, що зрозумів ваше запитання, але спробую дати кілька спостережень, які можуть вам допомогти.

У найпростішому контексті рибного тестування, де у вас є лише нулева гіпотеза, це має бути статус-кво . Це тому, що фішерське тестування працює по суті протиріччям. Тож у випадку з монетою, якщо у вас немає причин думати інакше, ви вважаєте, що це справедливо, . Потім обчислити р значення для ваших даних при H 0 і, якщо р значення нижче заданого порогового значення, то відкинути гіпотезу (доказ від протилежного). Ви ніколи не обчислюєте ймовірність нульової гіпотези.$H_0: \theta=0.5$$p$$H_0$$p$

За допомогою тестів Неймана-Пірсона ви вказуєте дві альтернативні гіпотези і, виходячи з їх відносної вірогідності та розмірності векторів параметрів, ви надаєте перевагу тому чи іншому. Це можна побачити, наприклад, при тестуванні гіпотези щодо упередженої та неупередженої монети. Неупереджений означає фіксацію параметра до (розмірність цього простору параметрів дорівнює нулю), тоді як зміщеним може бути будь-яке значення θ ≠ 0,5 (розмірність, рівна одиниці). Це вирішує проблему спроби суперечити гіпотезі про упередженість, що було б неможливо, як пояснив інший користувач. Фішер та НП дають подібні результати, коли вибірка велика, але вони не є рівнозначними. Тут нижче простий код у R для упередженої монети.$\theta=0.5$$\theta \neq 0.5$

n <- 100  # trials
p_bias <- 0.45  # the coin is biased
k <- as.integer(p_bias * n)  # successes

# value obtained by plugging in the MLE of p, i.e. k/n = p_bias
lambda <- 2 * n * log(2) + 2 * k * log(p_bias) + 2 * (n-k) * log(1. - p_bias)

p_value_F <- 2 * pbinom(k, size=n, prob=0.5)  # p-value under Fisher test
p_value_NP <- 1 - pchisq(q=lambda, df=1)  # p-value under Neyman-Pearson
binom.test(c(k, n-k))  # equivalent to Fisher

$t$$T$$\newcommand{\pr}{\mathrm{Pr}} \pr\left(T\geq t\right)$$H_0$$\pr(|Z|\geq |z|)$ but it's convenient to use $2\min [\pr(Z\geq z),\pr(Z\leq z)]$ because we have the appropriate tables. (Note the doubling.)

There's no requirement for the test statistic to put the samples in order of their probability under the null hypothesis. There are situations (like Zag's example) where any other way would seem perverse (without more information about what $r$ measures, what kinds of discrepancies with $H_0$ are of most interest, &c.), but often other criteria are used. So you could have a bimodal PDF for the test statistic & still test $H_0$ using the formula above.

(2) Yes, they mean under $H_0$.

(3) A null hypothesis like "The frequency of heads is not 0.5" is no use because you would never be able to reject it. It's a composite null including "the frequency of heads is 0.49999999", or as close as you like. Whether you think beforehand the coin's fair or not, you pick a useful null hypothesis that bears on the problem. Perhaps more useful after the experiment is to calculate a confidence interval for the frequency of heads that shows you either it's clearly not a fair coin, or it's close enough to fair, or you need to do more trials to find out.

An illustration for (1):

Suppose you're testing the fairness of a coin with 10 tosses. There are $2^{10}$ possible results. Here are three of them:

$\mathsf{HHHHHHHHHH}\\ \mathsf{HTHTHTHTHT}\\ \mathsf{HHTHHHTTTH}$

You'll probably agree with me that the first two look a bit suspicious. Yet the probabilities under the null are equal:

$\mathrm{Pr}(\mathsf{HHHHHHHHHH}) = \frac{1}{1024}\\ \mathrm{Pr}(\mathsf{HTHTHTHTHT}) = \frac{1}{1024}\\ \mathrm{Pr}(\mathsf{HHTHHHTTTH}) = \frac{1}{1024}$

To get anywhere you need to consider what types of alternative to the null you want to test. If you're prepared to assume independence of each toss under both null & alternative (& in real situations this often means working very hard to ensure experimental trials are independent), you can use the total count of heads as a test statistic without losing information. (Partitioning the sample space in this way is another important job that statistics do.)

So you have a count between 0 and 10

t<-c(0:10)

Its distribution under the null is

p.null<-dbinom(t,10,0.5)

Under the version of the alternative that best fits the data, if you see (say) 3 out of 10 heads the probability of heads is $\frac{3}{10}$, so

p.alt<-dbinom(t,10,t/10)

Take the ratio of the probability under the null to the probability under the alternative (called the likelihood ratio):

lr<-p.alt/p.null

Compare with

plot(log(lr),p.null)

So for this null, the two statistics order samples the same way. If you repeat with a null of 0.85 (i.e. testing that the long-run frequency of heads is 85%), they don't.

p.null<-dbinom(t,10,0.85)
plot(log(lr),p.null)

To see why

plot(t,p.alt)

Some values of $t$ are less probable under the alternative, & the likelihood ratio test statistic takes this into account. NB this test statistic will not be extreme for

$\mathsf{HTHTHTHTHT}$

And that's fine - every sample can be considered extreme from some point of view. You choose the test statistic according to what kind of discrepancy to the null you want to be able to detect.

... Continuing this train of thought, you can define a statistic that partitions the sample space differently to test the same null against the alternative that one coin toss influences the next one. Call the number of runs $r$, so that

$\mathsf{HHTHHHTTTH}$

has $r=6$:

$\mathsf{HH}\ \mathsf{T}\ \mathsf{HHH}\ \mathsf{TTT}\ \mathsf{H}$

The suspicious sequence

$\mathsf{HTHTHTHTHT}$

has $r=10$. So does

$\mathsf{THTHTHTHTH}$

while at the other extreme

$\mathsf{HHHHHHHHHH}\\ \mathsf{TTTTTTTTTT}$

have $r=1$. Using probability under the null as the test statistic (the way you like) you can say that the p-value of the sample

$\mathsf{HTHTHTHTHT}$

is therefore $\frac{4}{1024}=\frac{1}{256}$. What's worthy of note, comparing this test to the previous, is that even if you stick strictly to the ordering given by probability under the null, the way in which you define your test statistic to partition the sample space is dependent on consideration of alternatives.