Чому тест коефіцієнта ймовірності розподіляється на квадрат чи?

Чому тестова статистика випробування на коефіцієнт ймовірності розподіляється по квадрату?

$2(\ln \text{ L}_{\rm alt\ model} - \ln \text{ L}_{\rm null\ model} ) \sim \chi^{2}_{df_{\rm alt}-df_{\rm null}}$

Як зазначав @Nick, це є наслідком теореми Вілкса . Але зауважимо, що статистика тесту асимптотично $\chi^2$ -розподілена, а не $\chi^2$ -розподілена.

Мене дуже вразила ця теорема, оскільки вона дотримується у дуже широкому контексті. Розглянемо статистичну модель з вірогідністю $l(\theta \mid y)$ де $y$ - векторні спостереження $n$ незалежних повторних спостережень з розподілу з параметром $\theta$ що належить підскладному $B_1$ з $\mathbb{R}^d$ з розмірністю $\dim(B_1)=s$ . Нехай $B_0 \subset B_1$ - підмножина з розмірністю . Уявіть, що вам цікаво тестувати H 0 : { θ ∈ B 0 } .$\dim(B_0)=m$$H_0\colon\{\theta \in B_0\}$

Коефіцієнт ймовірності дорівнює Визначтевідхиленняd(y)=2log(lr(y)). Тодітеорема Вілксаговорить, що за звичайних припущень щодо закономірностіd(y)асимптотичноχ2-розподілений зs-mступенів свободи, колиH0справедливо.

Це підтверджено в оригінальному документі Вілка, згаданому @Nick. Я думаю, цей документ читати непросто. Пізніше Вілкс опублікував книгу, можливо, з найпростішим викладом своєї теореми. Короткий евристичний доказ наведений у чудовій книзі Вільямса .

Я другий суворий коментар Ніка Саббе, і моя коротка відповідь: це не так . Я маю на увазі, це лише у звичайній лінійній моделі. Для абсолютно будь-яких інших обставин точний розподіл не є . У багатьох ситуаціях можна сподіватися, що умови теореми Вілкса виконані, і тоді асимптотично статистика тестування коефіцієнта ймовірності збігається в розподілі до χ 2 . Обмеження та порушення умов теореми Вілкса занадто багато, щоб їх нехтувати.$\chi^2$$\chi^2$

1. Теорема передбачає, що дані про очікують виникнення проблем із залежними даними, такими як часові ряди чи неоднакові зразки обстеження ймовірностей (для яких так чи інакше вірогідність визначена; "регулярні" χ 2 тести, такі як тести на незалежність у таблицях на випадок надзвичайних ситуацій, починають вести себе як сума ∑ k a k v k , v k ∼ iid χ 2 1 ( Rao & Scott ). Для iid даних a k = 1 , а сума стає χ 2. Але для незалежних даних це не довше справа.$\Rightarrow$$\chi^2$$\sum_k a_k v_k, v_k \sim \mbox{i.i.d.} \chi^2_1$$a_k=1$$\chi^2$
2. Теорема передбачає, що справжній параметр знаходиться у внутрішній частині простору параметрів. Якщо у вас є евклідовий простір для роботи, це не проблема. Однак у деяких проблемах можуть виникнути природні обмеження, такі як дисперсія 0 або кореляція між -1 і 1. Якщо істинним параметром є одна межа, то асимптотичний розподіл - це суміш χ 2 з різним ступенем свободи, в тому сенсі, що cdf тесту - це сума таких cdfs ( Ендрюс 2001 , плюс ще два-три його статті за той самий період, історія - ще до Черноффа 1954 ).$\ge$$\chi^2$
3. Теорема передбачає, що всі відповідні похідні є ненульовими. Це може бути оскаржено деякими нелінійними проблемами та / або параметризаціями та / або ситуаціями, коли параметр не ідентифікується під нулем. Припустимо, у вас є модель гауссової суміші, і ваша нуль - це один компонент проти альтернативи двох різних компонентів f N ( μ 1 , σ 2 1 ) + ( 1 - f ) N ( μ 2 , σ 2 2$N(\mu_0,\sigma^2_0)$$f N(\mu_1,\sigma_1^2) + (1-f) N(\mu_2,\sigma_2^2)$зі змішувальною фракцією . Нуль, мабуть, вкладений в альтернативу, але це може бути виражено різними способами: як f = 0 (у цьому випадку параметри μ 1 , σ 2 1 не ідентифіковані), f = 1 (у цьому випадку μ 2 , σ 2 2 не ідентифікуються), або μ 1 = μ 2 , σ 1 = σ 2 (у цьому випадку $f$$f=0$$\mu_1,\sigma_1^2$$f=1$$\mu_2, \sigma_2^2$$\mu_1=\mu_2, \sigma_1=\sigma_2$$f$не ідентифікується). Тут ви навіть не можете сказати, скільки ступенів свободи повинен мати ваш тест, оскільки у вас є різна кількість обмежень залежно від того, як ви параметризуєте введення. Дивіться роботу Цзяхуа Чен з цього приводу, наприклад CJS 2001 .
4. може працювати нормально , якщо розподіл було зазначено правильно. Але якщо цього не було, тест знову зламається. У (переважно знехтуваної статистиками) підрайон багатофакторного аналізу, відомий як моделювання коваріації структурних рівнянь, часто передбачається багатоваріантне нормальне розподіл, але навіть якщо структура правильна, тест буде невідповідним, якщо розподіл буде іншим. Satorra та Bentler 1995 показують, що розподіл стане ∑ k a k v k , v k ∼ iid χ 2 1 , та ж історія, що і з незалежними даними в моєму пункті 1, але вони також продемонстрували, як$\chi^2$$\sum_k a_k v_k, v_k \sim \mbox{i.i.d.} \chi^2_1$ s залежать від структури моделі та четвертого моменту розподілу.$a_k$
5. ${\rm Prob}[d(y) \le x]=F(x;\chi^2_d)[1+O(n^{-1})]$$n$$F(x;\chi^2_d)$$\chi^2_d$$b$${\rm Prob}[d(y)/(1+b/n) \le x]=F(x;\chi^2_d)[1+O(n^{-2})]$$\chi^2$$b$

Для огляду цих та подібних езотеричних питань з можливим висновком див. Smith 1989 .