Ступені свободи

Статистика тесту для тесту Хосмера-Лемешоу (HLT) на корисність (GOF) моделі логістичної регресії визначається наступним чином:

Потім зразок розбивають на децилів, , на децил, обчислюють такі величини:$d=10$$D_1, D_2, \dots , D_{d}$

• D $O_{1d}=\displaystyle \sum_{i \in D_d} y_i$ , тобто спостерігається кількість позитивних випадків у децилі ;$D_d$
• $O_{0d}=\displaystyle \sum_{i \in D_d} (1-y_i)$ , тобто спостерігається кількість негативних випадків у децилі ;$D_d$
• $E_{1d}=\displaystyle \sum_{i \in D_d} \hat{\pi}_i$ , тобто передбачувана кількість позитивних випадків у децилі ;$D_d$
• $E_{0d}= \displaystyle \sum_{i \in D_d} (1-\hat{\pi}_i)$ , тобто передбачувана кількість негативних випадків у децилі ;$D_d$

де - спостережуваний бінарний результат для -го спостереження, а - прогнозована ймовірність цього спостереження.$y_i$π$i$$\hat{\pi}_i$

Потім тестова статистика визначається як:

$X^2 = \displaystyle \sum_{h=0}^{1} \sum_{g=1}^d \left( \frac{(O_{hg}-E_{hg})^2}{E_{hg}} \right)= \sum_{g=1}^d \left( \frac{ O_{1g} - n_g \hat{\pi}_g}{\sqrt{n_g (1-\hat{\pi}_g) \hat{\pi}_g}} \right)^2,$

де - середня оцінена ймовірність у децилі g, а n_g - кількість компаній у децилі.гп$\hat{\pi}_g$$g$$n_g$

Згідно Хосмера-Лемешоу (див. Це посилання ), ця статистика має (за певних припущень) розподіл \ chi ^ 2 з (d-2) ступенями свободи . $\chi^2$$(d-2)$

З іншого боку , якщо я б визначив таблицю на випадок надзвичайних ситуацій з $d$ рядками (що відповідають децилам) та 2 стовпцями (що відповідають істинному / хибному двійковому результату), то тестова статистика для тесту $\chi^2$ для цієї таблиці непередбачених ситуацій буде те саме, що визначено вище $X^2$ , однак у випадку таблиці непередбачених ситуацій ця тестова статистика є $\chi^2$ з $(d-1)(2-1)=d-1$ градусів свободи . Так на один ступінь свободи більше !

Як можна пояснити цю різницю в кількості ступенів свободи?

EDIT: доповнення після прочитання коментарів:

@whuber

Вони кажуть (див. Hosmer DW, Lemeshow S. (1980), тест на придатність для моделі множинної логістичної регресії. Комунікації в статистиці, A10, 1043-1069 ), що існує теорема, продемонстрована Муром і Спрілл, з якої випливає, що якщо (1) параметри оцінюються за допомогою функцій вірогідності для негрупованих даних та (2) частоти в таблиці 2xg залежать від розрахункових параметрів, а саме комірки є випадковими, а не фіксованими, то тоді, у відповідних умовах регулярності, корисністю статистики придатності під (1) та (2) є центральна хі-площа зі звичайним зменшенням ступенів свободи за оцінними параметрами плюс сума зважених чи-квадратних змінних.

Потім, якщо я добре розумію їхню статтю, вони намагаються знайти наближення до цього «терміну корекції», що, якщо я це добре зрозумів, це зважена сума випадкових змінних чи-квадратних величин, і вони роблять це, роблячи імітацію, але я повинен визнати, що я не повністю розумію, що вони там кажуть, звідси моє запитання; чому ці клітини випадкові, як це впливає на ступінь свободи? Чи було б інакше, якби я встановив межі комірок, а потім класифікую спостереження у фіксованих клітинках на основі оціночного балу, у такому випадку клітини не є випадковими, хоча "вміст" клітини є?

@Frank Harell: чи не могло бути те, що "недоліки" тесту Хосмера-Лемешоу, про які ви згадуєте у коментарях нижче, є лише наслідком наближення зваженої суми чи-квадратів ?

Hosmer DW, Lemeshow S. (1980), тест на придатність для моделі множинної логістичної регресії. Зв'язок у статистиці, A10, 1043-1069 показує, що:

Якщо модель є логістичною регресійною моделлю, а параметри оцінюються за максимальною вірогідністю, а групи визначаються за оцінкою ймовірності, то випливає, що - асимптотично (Хосмер, Лемешоу, 1980, с.1052, теорема 2).G X 2 χ 2 ( G - p - 1 ) + ∑ p + 1 i = 1 λ i χ 2 i ( 1 $p$$G$$X^2$$\chi^2(G-p-1)+\sum_{i=1}^{p+1} \lambda_i \chi_i^2(1)$

(Примітка: необхідні умови явно не викладені в теоремі 2 на сторінці 1052, але якщо хтось уважно читає папір і доказ, то вони спливають)

Другий доданок результатом того, що групування базується на оціночних - тобто випадкових - величинах (Hosmer, Lemeshow, 1980, p. 1051)$\sum_{i=1}^{p+1} \lambda_i \chi_i^2(1)$

Використовуючи моделювання, вони показали, що другий член може бути (у випадках, що використовуються в симуляції), апроксимірований a (Hosmer, Lemeshow, 1980, с.1060)$\chi^2(p-1)$

Поєднання цих двох фактів призводить до суми двох змінних , одна з ступенями свободи і друга з ступенями свободи або$\chi^2$$G-p-1$$p-1$$X^2 \sim \chi^2(G-p-1+p-1=G-2)$

Тож відповідь на питання полягає у виникненні «зваженого чі-квадратного терміна» або у тому, що групи визначаються за допомогою оціночних ймовірностей, які самі є випадковими змінними.

Дивіться також Документ Хосмера Лемешоу (1980) - Теорема 2

Теорема, на яку ви посилаєтесь (звичайна частина скорочення "звичайне зменшення ступенів свободи за оцінними параметрами"), здебільшого відстоювала Р. А. Фішер. У «Про інтерпретацію площі Чі від таблиць на випадок та обчислення Р» (1922) він стверджував, що використовувати правило і в «Добрості пристосування формул регресії» ( 1922) він стверджує, щоб зменшити ступінь свободи на кількість параметрів, що використовуються в регресії, щоб отримати очікувані значення з даних. (Цікаво відзначити, що люди неправомірно використовували тест-квадрат з неправильними ступенями свободи більше двадцяти років з моменту його введення в 1900 році)$(R-1) * (C-1)$

Ваш випадок другого роду (регресія), а не колишнього виду (таблиця непередбачених ситуацій), хоча вони пов'язані між собою тим, що вони є лінійними обмеженнями параметрів.

Оскільки ви моделюєте очікувані значення на основі спостережуваних значень, і ви робите це з моделлю, яка має два параметри, "звичайне" зменшення ступенів свободи - два плюс один (додаткове, оскільки O_i потрібно підсумовувати до загальна сума, що є ще одним лінійним обмеженням, і ви закінчуєтесь ефективно зменшенням двох, а не трьох, через "неефективність" модельованих очікуваних значень).

Тест-ква-квадрат використовує як міру відстані, щоб виразити, наскільки близький результат до очікуваних даних. У багатьох версіях тестів на квадратичний чи розподіл цієї "відстані" пов'язаний із сумою відхилень у нормальних розподілених змінних (що справедливо лише в обмеженні і є наближенням, якщо ви маєте справу з не нормальними розподіленими даними) .$\chi^2$

Для багатоваріантного нормального розподілу функція густини пов'язана з by$\chi^2$

$f(x_1,...,x_k) = \frac{e^{- \frac{1}{2}\chi^2} }{\sqrt{(2\pi)^k \vert \mathbf{\Sigma}\vert}}$

з визначник матриці коваріації $\vert \mathbf{\Sigma}\vert$$\mathbf{x}$

і є Махаланобіса відстань , яке зводиться до евклідова відстань , якщо Е = I .$\chi^2 = (\mathbf{x}-\mathbf{\mu})^T \mathbf{\Sigma}^{-1}(\mathbf{x}-\mathbf{\mu})$$\mathbf{\Sigma}=\mathbf{I}$

У своїй статті 1900 р. Пірсон стверджував, що рівні сфероїди і що він може трансформуватися до сферичних координат, щоб інтегрувати таке значення, як P ( χ 2 > a ) . Який стає єдиним інтегралом.$\chi^2$$P(\chi^2 > a)$

Саме це геометричне зображення, як відстань, а також термін у функції щільності, може допомогти зрозуміти зменшення ступенів свободи за наявності лінійних обмежень.$\chi^2$

Спочатку випадок таблиці 2x2 на випадок надзвичайних ситуацій . Ви повинні помітити, що чотири значення не єчотирманезалежними нормально розподіленими змінними. Натомість вони пов'язані один з одним і зводяться до однієї змінної.$\frac{O_i-E_i}{E_i}$

Дозволяє використовувати таблицю

$O_{ij} = \begin{array}{cc} o_{11} & o_{12} \\ o_{21} & o_{22} \end{array}$

то якщо очікувані значення

$E_{ij} = \begin{array}{cc} e_{11} & e_{12} \\ e_{21} & e_{22} \end{array}$

де зафіксовано тоді $\sum \frac{o_{ij}-e_{ij}}{e_{ij}}$$e_{ij}$$o_{ij}$$o$$e$

$\begin{array}\\&(o_{11}-e_{11}) &=\\ &(o_{22}-e_{22}) &=\\ -&(o_{21}-e_{21}) &=\\ -&(o_{12}-e_{12}) &= o_{11} - \frac{(o_{11}+o_{12})(o_{11}+o_{21})}{(o_{11}+o_{12}+o_{21}+o_{22})} \end{array}$

$\chi^2$

$\beta_0$$\underline\beta$$o_i-e_i$$four$$p+1$

$o-e$$y_i$$\beta x_i$$\epsilon_i$$\epsilon_i$не може прийняти будь-яке можливе значення! А саме вони зменшуються на частину, яка проектується на модель, і більш конкретно на 1 вимір для кожного параметра в моделі.

Можливо, наступні зображення можуть трохи допомогти

$B(n=60,p={1/6,2/6,3/6})$$N(\mu=n*p,\sigma^2=n*p*(1-p))$$\chi^2={1,2,6}$$\chi$$\int_0^a e^{-\frac{1}{2} \chi^2 }\chi^{d-1} d\chi$$\chi^{d-1}$$\chi$

Зображення нижче може бути використане для отримання уявлення про зменшення розмірів у залишкових доданках. Він пояснює метод розміщення найменших квадратів в геометричному виразі.

У синьому кольорі у вас вимірювання. У червоному кольорі у вас є те, що дозволяє модель. Вимірювання часто не точно відповідає моделі та має деяке відхилення. Ви можете розглядати це, геометрично, як відстань від вимірюваної точки до червоної поверхні.

$mu_1$$mu_2$$(1,1,1)$$(0,1,2)$

$\begin{bmatrix}x_{1}\\x_{2}\\x_{3}\end{bmatrix} = a \begin{bmatrix}1\\1\\1\end{bmatrix} + b \begin{bmatrix}0\\1\\2\end{bmatrix} + \begin{bmatrix}\epsilon_1\\\epsilon_2\\\epsilon_3\end{bmatrix}$

$(1,1,1)$$(0,1,2)$$x$$\epsilon$

Тож ця різниця між спостережуваним та (модельованим) очікуваним є сумою векторів, які перпендикулярні модельному вектору (і цей простір має розмір загального простору за вирахуванням кількості модельних векторів).

У нашому простому прикладі. Загальний розмір - 3. Модель має 2 розміри. І помилка має розмірність 1 (тому незалежно від того, яку із синіх точок ви берете, зелені стрілки показують єдиний приклад, умови помилки завжди мають однакове співвідношення, слідуйте за одним вектором).

$\chi^2$

$\frac{o-e}{e}$$e$$np(1-p)$