Чому доказ Вілкса 1938 р. Не працює для неправильно визначених моделей?

У відомому документі 1938 р. (" Великий вибірковий розподіл коефіцієнта ймовірності для тестування складених гіпотез ", "Анали математичної статистики", 9: 60-62) Семюел Вілкс отримав асимптотичний розподіл у (коефіцієнт вірогідності журналу) для вкладених гіпотез, при припущенні, що більша гіпотеза правильно вказана. Обмежуючим розподілом є (chi-квадрат) з ступенями свободи, де - кількість параметрів у більшій гіпотезі і $2 \times LLR$ $\chi^2$ $h-m$ $h$ $m$ - кількість вільних параметрів у вкладеній гіпотезі. Однак, мабуть, добре відомо, що цей результат не дотримується, коли гіпотези неправильно уточнюються (тобто, коли більша гіпотеза не є істинним розподілом для вибіркових даних).

Хтось може пояснити, чому? Мені здається, що доказ Вількса все-таки повинен працювати з незначними модифікаціями. Він спирається на асимптотичну нормальність максимальної оцінки ймовірності (MLE), яка все ще дотримується неправильних моделей. Єдина відмінність - матриця коваріації лімітуючої багатоваріантної нормалі: для правильно заданих моделей ми можемо наблизити коваріаційну матрицю з оберненою інформаційною матрицею Фішера , при неправильному визначенні ми можемо використовувати сендвіч-оцінку матриці коваріації ( ). Останнє зводиться до оберненої інформаційної матриці Фішера, коли модель задана правильно (оскільки $J^{-1}$ $J^{-1} K J^{-1}$ $J = K$ ). AFAICT, доказ Вількса байдуже, звідки береться оцінка матриці коваріації, якщо ми маємо неперевернуту асимптотичну коваріаційну матрицю багатоваріантної норми для MLE ( в роботі Wilks). $c^{-1}$

— рацалад
джерело

Коли більша модель відповідає дійсності, але підмодель помилкова, асимптотичний розподіл вже не є (наприклад, у лінійних моделях з помилками Гаусса, ми отримуємо такі речі, як точні нецентральні розподіли F, тому асимптотичний розподіл повинен бути чимось на зразок nc - здогадуюсь). То чому б ми очікували, що це буде коли і більша, і менша модель є помилковими? З чого саме тут починається нульова гіпотеза?

χ^{2}

$\chi^2$

χ^{2}

$\chi^2$

χ^{2}

$\chi^2$

— хлопець

У правильно вказаній нульовій гіпотезі обидві моделі є "істинними", але вкладені мають параметри, закріплені за справжніми значеннями. У неправильно визначеній нульовій гіпотезі обидві моделі є "помилковими", але вкладений має параметри, зафіксовані на значеннях псевдотруї. ("Псевдотрудне значення" - це асимптотичне значення параметра, що мінімізує відстань Куллбека-Ліблера між неправильною моделлю та справжньою моделлю). Отже, ваш приклад нецентрального F не має значення, оскільки це розподіл, коли нульова гіпотеза тут хибна.

m

$m$

m

$m$

— ratsalad

Вибачте, я мав би сказати, що вкладена гіпотеза має параметри зафіксовані на справжніх значеннях.

h - m

$h-m$

— ratsalad

Наскільки я розумію, що неправильно уточнена нульова модель може бути помилкова уточнена багатьма способами. Наприклад: неправильний розподіл залишків, дані мають гетеросцедастичність, ефекти не є аддитивними і т. Д. Однак я згоден, що якщо хоча б один з "тестованих" параметрів фіксується на помилковому значенні (наприклад, псевдотрудне значення) , це один приклад неправильно вказаної нульової моделі.

h - m

$h - m$

— rcorty

Відповіді:

Р. В. Футц і Р. С. Срівастава детально вивчили це питання. Їх документ 1977 року "Виконання тесту на коефіцієнт ймовірності, коли модель невірна", містить виклад результату розподілу у разі неправильної уточнення поряд із дуже коротким ескізом доказування, а їхній документ 1978 року - "Асимптотичний розподіл коефіцієнта ймовірності, коли модель неправильна " містить доказ - але останній набирається у старомодному машинописі (хоча обидва документи використовують одне і те ж позначення, тому ви можете комбінувати їх при читанні). Крім того, для деяких етапів доказування вони посилаються на документ К.П. Роя "Записка про асимптотичний розподіл коефіцієнта ймовірності" від 1957 року, який, здається, не доступний в режимі он-лайн, навіть закритий.

У випадку неправильної специфікації розподілу, якщо MLE все ще є послідовною і асимптотично нормальною (що не завжди буває), LR статистика слідує за асимптотикою лінійною комбінацією незалежних чі-квадратів (кожен з одного ступеня свободи)

- 2 \ln λ \overset{d}{\to} \sum_{i = 1}^{r} c_{i} χ_{i}^{2}

$-2\ln \lambda \xrightarrow{d} \sum_{i=1}^{r}c_i\mathcal \chi^2_i$

де . Можна побачити "схожість": замість одного chi-квадрата з ступенями свободи ми маємо chi-квадрати з кожним ступенем свободи. Але "аналогія" зупиняється на цьому, оскільки лінійна комбінація хі-квадратів не має щільності закритої форми. Кожен масштабований квадрат-чі - це гамма, але з іншим параметром що призводить до іншого масштабного параметра для гами - і сума таких гам не є закритою формою, хоча його значення можна обчислити. $r=h-m$ $h-m$ $h-m$ $c_i$

Для констант маємо , і вони є власними значеннями матриці ... яка матриця? Добре, використовуючи позначення авторів, встановіть як гессея вірогідності журналу, а - зовнішнім добутком градієнта зручності ймовірності (в очікуванні). Отже є асимптотичною дисперсійно-коваріаційною матрицею MLE. $c_i$ $c_1 \geq c_2\geq ...c_r \geq0$ $\Lambda$ $C$ $V = \Lambda^{-1} C (\Lambda')^{-1}$

Потім встановіть бути верхній діагональний блок . $M$ $r \times r$ $V$

Також запишіть у вигляді блоку $\Lambda$

Λ = [\begin{matrix} Λ_{r \times r} & Λ_{2}^{'} \\ Λ_{2} & Λ_{3} \end{matrix}]

$\Lambda =\left [\begin {matrix} \Lambda_{r\times r} & \Lambda_2'\\ \Lambda_2 & \Lambda_3\\ \end{matrix}\right]$

і встановимо ( - мінус доповнення Шура ). $W = -\Lambda_{r\times r}+\Lambda_2'\Lambda_3^{-1}\Lambda_2$ $W$ $\Lambda$

Тоді - це власні значення матриці оцінені за справжніми значеннями параметрів. $c_i$ $MW$

ДОПОЛНЕННЯ
Відповідаючи на дійсне зауваження ОП у коментарях (іноді, справді, питання стають плацдармом для спільного отримання більш загального результату, і самі можуть бути знехтувані в процесі), ось як відбувається доказ Вількса: Вілкс починає спільну роботу нормальний розподіл MLE і переходить до отримання функціонального вираження коефіцієнта ймовірності. До і включаючи його еквівалент. , доказ може рухатися вперед, навіть якщо припустити, що ми маємо неправильну специфікацію розподілу: як зазначає ОП, умови матриці коваріації дисперсії будуть різними в сценарії помилок, але все, що має Уілкс, - це брати похідні та ідентифікувати асимптотично незначні терміни. І так він прибуває на екв. де ми бачимо, що коефіцієнт ймовірності є статистичним, $[9]$ $[9]$ якщо специфікація правильна, - це лише сума квадраті стандартних звичайних випадкових величин, і тому вони розподіляються як один чі-квадрат зі ступенями свободи : (загальне позначення) $h-m$ $h-m$

- 2 \ln λ = \sum_{i = 1}^{h - m} {(\sqrt{n} \frac{{\hat{θ}}_{i} - θ_{i}}{σ_{i}})}^{2} \overset{d}{\to} χ_{h - m}^{2}

$-2\ln \lambda = \sum_{i=1}^{h-m}\left(\sqrt n\frac{\hat \theta_i - \theta_i}{\sigma_i}\right)^2 \xrightarrow{d} \mathcal \chi^2_{h-m}$

Але якщо у нас є помилки специфікації, то терміни, які використовуються для того , щоб масштабувати центрированную і збільшене MLE більше не умови , які роблять відхилення кожного елемента дорівнює одиниці, і таким чином перетворіть кожен доданок у стандартний нормальний rv, а суму - в квадрат-chi. І це не так, оскільки ці терміни передбачають очікувані значення другої похідної вірогідності ймовірності ... але очікуване значення можна сприймати лише щодо справжнього розподілу, оскільки MLE - це функція даних і Дані слід за істинним розподілом, тоді як другі похідні log-ймовірності обчислюються виходячи з неправильного припущення про щільність. $\sqrt n(\hat \theta -\theta)$

Отже, під помилковим визначенням у нас є щось на зразок і найкраще, що ми можемо зробити, - це маніпулювати цим

- 2 \ln λ = \sum_{i = 1}^{год - м} {(\sqrt{н} \frac{{\hat{θ}}_{i} - θ_{i}}{а_{i}})}^{2}

$-2\ln \lambda = \sum_{i=1}^{h-m}\left(\sqrt n\frac{\hat \theta_i - \theta_i}{a_i}\right)^2$

- 2 \ln λ = \sum_{i = 1}^{год - м} \frac{σ_{i}^{2}}{а_{i}^{2}} {(\sqrt{н} \frac{{\hat{θ}}_{i} - θ_{i}}{σ_{i}})}^{2} = \sum_{i = 1}^{год - м} \frac{σ_{i}^{2}}{а_{i}^{2}} χ_{1}^{2}

$-2\ln \lambda = \sum_{i=1}^{h-m}\frac {\sigma_i^2}{a_i^2}\left(\sqrt n\frac{\hat \theta_i - \theta_i}{\sigma_i}\right)^2 = \sum_{i=1}^{h-m}\frac {\sigma_i^2}{a_i^2}\mathcal \chi^2_1$

що є сумою масштабованих чи-квадратних обертів, більше не розподілених як один чи-квадратний rv з ступенями свободи. Посилання, надане ОП, дійсно є дуже чітким описом цього більш загального випадку, що включає результат Вількса як особливий випадок. $h-m$

— Алекос Пападопулос
джерело

Отже, це лише перерахунок стандартного результату, коли модель неправильно визначена. Цей результат був отриманий і повторно отриманий багато разів. Найяскравіша і найяскравіша деривація, яку я бачив, - з Кенту 1982 р. " Міцні властивості тестів коефіцієнта ймовірності " (Біометріка 69:19). Однак ти не відповів на моє запитання. Моє запитання стосувалося конкретно доказів Wilks 1938 року, і чому він не вдається.

— ratsalad

Доказ Вілкса 1938 року не працює, оскільки Вілкс використовував як асимптотичну матрицю коваріації у своєму доказуванні. - зворотне значення гессіана негативної вірогідності журналу, а не сендвіч-оцінювач . Вілкс посилається на й елемент як у своєму доказуванні. Роблячи припущення, що Wilks (1938) припускає, що виконується, що є рівністю інформаційної матриці Фішера. Якщо модель ймовірності вказана правильно, то $J^{-1}$ $J^{-1}$ $J^{-1} K J^{-1}$ $ij$ $J$ $c_{ij}$ $J^{-1}KJ^{-1} = J^{-1}$ $K=J$ $K=J$ . Отже, одна з інтерпретацій припущення Вількса полягає в тому, що він припускає більш сильне припущення, що модель ймовірності правильно задана.

— RMG
джерело