Коли використовувати розподіл Стьюдента або Нормального в лінійній регресії?

10

Я дивлюся на деякі проблеми, а в деяких на тестування коефіцієнтів, іноді я бачу людей, які використовують розподіл Стьюдента, а іноді бачу нормальний розподіл. Яке правило?

regression distributions hypothesis-testing

— Лев
джерело

3

Це не є відповіддю, але зауважте, що -розподіл наближається до нормального розподілу, оскільки параметр ступенів свободи зростає. Минулої немає різної різниці, особливо в більшості тестових рамок гіпотез. Обмежувальна поведінка "зверху" в тому сенсі, що якщо

t

$t$

ν

$\nu$

ν \geq 30

$\nu \geq 30$

T \sim t_{ν}

$T \sim t_{\nu}$ і

Z \sim N (0, 1)

$Z \sim \mathcal{N}(0,1)$ , то

| T |

$|T|$ єстохастичний більшеніж

| Z |

$|Z|$ .

— кардинал

15

Нормальний розподіл - це великий розподіл вибірки у багатьох змістовних статистичних проблемах, які стосуються певної версії теореми про центральний межа: у вас є (приблизно) незалежні відомості, які додаються для отримання відповіді. Якщо оцінки параметрів асимптотично нормальні, їх функції також будуть асимптотично нормальними (у звичайних випадках).

З іншого боку, розподіл Стьюдента виводиться за більш обмежених умов серед нормальних похибок регресії. Якщо ви можете придбати це припущення, ви можете придбати -розподіл, який використовується для тестування гіпотези в лінійній регресії. Використання цього розподілу забезпечує більш широкі інтервали довіри, ніж використання звичайного розподілу. Змістовне значення цього полягає в тому, що у малих вибірках потрібно оцінити міру невизначеності, середню регресію в квадратичній помилці або стандартне відхилення залишків . (У великих зразках ви ніби мають стільки інформації, ніби ви її знали, тому -розподіл перероджується до нормального розподілу.) $t$ $t$ $\sigma$ $t$

Бувають випадки лінійної регресії, навіть із обмеженими зразками, коли розподіл Стьюдента не може бути виправданим. Вони пов'язані з порушеннями умов другого порядку щодо регресійних помилок; а саме, що вони є (1) постійною дисперсією та (2) незалежною. Якщо ці припущення порушені, і ви виправляєте стандартні помилки, використовуючи оцінювач Eicker / White для гетерокедастичних, але незалежних залишків; або оцінювач Newey-West для послідовно корельованих помилок або кластеризованих стандартних помилокдля даних, пов'язаних з кластером, немає можливості виправити розумне обгрунтування для розподілу студентів. Однак, використовуючи відповідну версію аргументу асимптотичної нормальності (трейгулярні масиви тощо), ви можете виправдати нормальне наближення (хоча ви повинні мати на увазі, що ваші довірчі інтервали, ймовірно, будуть занадто вузькими).

— СтасК
джерело

1

(+1) Мені подобається, що під час відкриття третього абзацу я розумію, що лінійна регресія робиться з нескінченними (не "кінцевими") зразками!

— whuber

@whuber: :) У моїх книгах, якщо це нормально, він повинен покладатися на CLT або щось асимптотичне. Інакше це має стільки ж сенсу, як це .

— StasK

6

Мені подобається представлення розподілу студентів t як суміш нормального розподілу та гамма-розподілу:

S t u d e n t (x | μ, σ^{2}, ν) = \int_{0}^{\infty} N o r m a l (x | μ, \frac{σ^{2}}{ρ}) G a m m a (ρ | \frac{ν}{2}, \frac{ν}{2}) d ρ

$Student(x|\mu,\sigma^2,\nu)=\int_{0}^{\infty}Normal\left(x|\mu,\frac{\sigma^2}{\rho}\right)Gamma\left(\rho|\frac{\nu}{2},\frac{\nu}{2}\right)d\rho$

Зауважимо, що середнє значення гамма-розподілу - а дисперсія цього розподілу дорівнює $E[\rho|\nu]=1$ . Таким чином, ми можемо розглядати t-розподіл як узагальнення припущення про постійну дисперсію до припущення про "подібну" дисперсію. основному контролює, наскільки подібними ми дозволяємо бути відхиленнями. Ви також розглядаєте це як "випадкову зважену" регресію, оскільки ми можемо використовувати вищезазначений інтеграл як представлення "прихованої змінної" таким чином: $V[\rho|\nu]=\frac{2}{\nu}$ $\nu$

y_{i} = μ_{i} + \frac{e_{i}}{\sqrt{ρ_{i}}}

$y_i=\mu_i+\frac{e_i}{\sqrt{\rho_i}}$

Де і $e_i\sim N(0,\sigma^2)$ $\rho_i\sim Gamma\left(\frac{\nu}{2},\frac{\nu}{2}\right)$ $Gamma\left(\frac{\nu}{2},\frac{\nu}{2}\right)\sim \frac{1}{\nu}\chi^2_\nu$

$y_i-\mu_i$ $\sigma^2$ $\rho_i$ $\sigma^2$ $\rho_i$ $\rho_i$ $\mu_i=x_i^T\beta$ $\rho_i$ $\rho_i$

\hat{β} = (\sum_{i} ρ_{i} x_{i} x_{i}^{T})^{- 1} (\sum_{i} ρ_{i} x_{i} y_{i})

$\hat{\beta}=(\sum_i\rho_ix_ix_i^T)^{-1}(\sum_i\rho_ix_iy_i)$

$\rho_i$ $\rho_i$

Зауважте, що не існує "правила" для вирішення цих речей, хоча моя та інші відповіді на це запитання можуть бути корисними для пошуку деяких тестів, які ви можете зробити на шляху кінцевої дисперсії (студент t - нескінченна дисперсія на ступінь свободи, меншу або рівну до двох).

— ймовірністьіслогічна
джерело

+1: це виглядає правильно, але я не думаю, що слід говорити про суміш нормального та гамма-розподілу, а скоріше про нормальне сполучення гама-нормальний склад і мотивувати цю конструкцію, кажучи, що нормальний розподіл гами - це кон'югат перед нормальним розподілом (параметризований середнім і точним).

— Ніл Г

Так, питання про суміш - хоча я зараз не можу придумати незграбний спосіб її виправити. Зауважте, що ця форма не є унікальною для поєднання розподілів - наприклад, якщо ми замінимо gma pdf на перевернутий експоненціальний pdf, ми отримаємо розподіл лапласа. Це призводить до "найменших абсолютних відхилень" замість найменших квадратів, як форми ростифікації нормального розподілу. Інші дистрибуції призвели б до інших "робустіфікацій" - можливо, не настільки аналітично, як студентські.

— ймовірністьлогічний

\frac{X}{\sqrt{(U / ν)}}

${\frac {X}{\sqrt {(U/\nu )}}}$