Як перевірити статистичну значимість категоріальної змінної в лінійній регресії?

Якщо в лінійній регресії у мене є категоріальна змінна ... як я можу знати статичну значимість категоріальної змінної?

Скажімо , фактор $X_1$ має 10 рівнів ... буде 10 різних результуючі значення т-під парасольки змінної один фактор ... $X_1$

Мені здається, що статистичне значення перевіряється для кожного рівня факторної змінної? Ні?

@Macro: Після вашої пропозиції я створив такий приклад:

Здається, що x3 є корисним і повинен бути включений у модель, із наведеного нижче порівняння моделі.

Але насправді це неправильно ...

n=100    
x1=1:n
x2=(1:n)^2 
x3=rnorm(n)
ee=rnorm(n)
y=3*x1-2*x2+x3+3+ee
lm1=lm(y~x1+x2+x3)
summary(lm1)

lm2=lm(y~x1+x2) 
summary(lm2)

anova(lm1, lm2)

> anova(lm1, lm2)
Analysis of Variance Table

Model 1: y ~ x1 + x2 + x3
Model 2: y ~ x1 + x2
  Res.Df     RSS Df Sum of Sq      F    Pr(>F)    
1     96  82.782                                  
2     97 146.773 -1    -63.99 74.207 1.401e-13 ***
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

regression statistical-significance categorical-data

— Луна
джерело

@Luna, чому це неправильно? Здається, ви використовували x3для створення ys, тому його слід включати в модель, і

-значення погоджується з цим висновком.

p

$p$

— Макрос

@Seth - ти маєш рацію. Я просто наводив іграшковий приклад використання anova взагалі для порівняння моделей. Тож це не пов’язано з моїм оригінальним запитанням.

— Луна

@Macro - ти маєш рацію. Тепер я бачу сенс. Дякую!

— Luna

Функція 'Anova' з пакета R 'car' ( pdf ) дозволяє перевірити загальну значимість категоричної змінної. Він працює з великою кількістю різних пакетів і типів регресії.

— SK4ndal

Ви вірні, що ці -значення говорять лише про те , що середнє значення кожного рівня значно відрізняється від середнього рівня. Тому вони розповідають лише про парні відмінності між рівнями. Перевірити, чи є категоричний предиктор загалом значущим, еквівалентно тестуванню, чи є гетерогенність у засобах рівнів предиктора. Коли в моделі немає інших прогнозів, це класична проблема ANOVA . $p$

Коли в моделі є інші прогнози. у вас є два варіанти перевірки значущості категоричного прогноктора:

(1) Тест відносини правдоподібності: Припустимо, що результат , кількісні предиктори і категоричний предиктор з рівнями . Модель без категоричного предиктора є $Y_i$ $X_{i1}, ..., X_{ip}$ $C_i$ $k$

Y_{i} = β_{0} + β_{1} X_{i 1} + . . . + β_{p} X_{i p} + ε_{i}

$Y_i = \beta_0 + \beta_1 X_{i1} + ... + \beta_p X_{ip} + \varepsilon_i$

У Rвас може відповідати цій моделі з lm()командою і витягти логарифмічна правдоподібність з logLikкомандою. Назвіть цю ймовірність журналу . Далі ви можете відповідати моделі категоричним прогноктором: $L_0$

Y_{i} = β_{0} + β_{1} X_{i 1} + . . . + β_{p} X_{i p} + \sum_{j = 1}^{k - 1} α_{j} B_{j} + ε_{i}

$Y_i = \beta_0 + \beta_1 X_{i1} + ... + \beta_p X_{ip} + \sum_{j=1}^{k-1} \alpha_j B_j + \varepsilon_i$

де - фіктивна змінна, яка дорівнює якщо і іншому випадку. «го рівня є опорний рівень, тому є тільки доданків в сумі. автоматично зробить це манекенне кодування для вас, якщо ви передасте категоричну змінну в . Ви можете встановити цю модель аналогічно та витягнути ймовірність колоди, як описано вище. Назвіть цю ймовірність журналу . Тоді, під нульовою гіпотезою, що не має ефекту, $B_j$ $1$ $D_i = j$ $0$ $k$ $k-1$ Rlm() $L_1$ $D_i$

λ = 2 (L_{1} - L_{0})

$\lambda = 2 \left( L_1 - L_0 \right )$

має розподіл з ступенем свободи. Отже, ви можете обчислити значення значення, використовуючи в $\chi^2$ $k-1$ $p$ 1-pchisq(2*(L1-L0),df=k-1)R тесту на значимість.

(2) test: $F$ Не вдаючись до деталей (які схожі на LRT, за винятком сум, у яких використовуються квадрати, а не ймовірності журналу), я поясню, як це зробити R. Якщо ви використовуєте "повну" модель (тобто модель з усіма предикторами, включаючи категоричний предиктор), Rвикористовуючи lm()команду (викликайте це g1) та модель без категоричного предиктора (викликайте це g0), тоanova(g1,g0) перевірятиме цю гіпотезу щодо Ви також.

$F$

— Макрос
джерело

Велике спасибі Макросу. Я виявив, що мої дані вкрай ненормальні. Діаграма QQ така: крива все нижче прямої 45 градусної лінії. Крива дотична до цієї прямої. І крива виглядає як крива f (x) = - x ^ 2 (у формі). З якою проблемою я стикаюся? І як мені це виправити? Дякую!

— Luna

@Luna, ваші дані вкрай ненормальні або залишки вкрай ненормальні? Крім того, я не думаю, що цілий набір балів може лежати під лінією 45 градусів.

— Макрос

о, насправді ти маєш рацію ... Я просто ще раз подивився на сюжет QQ. Це не весь набір балів, який знаходиться під лінією 45 градусів. Крива з формою f (x) = - x ^ 2 є "дотичною" до лінії 45 градусів. Під "дотичною" я мав би означати, що ці точки навколо "дотичної" точки насправді вище лінії 45 градусів, хоча і трохи. Тому, візуально кажучи, більшість даних (~ 98%) знаходяться нижче лінії 45 градусів ... що мені робити спочатку, щоб виправити цю проблему, перш ніж порівняти модель? Дякую!

— Луна

Якщо розмір вибірки досить великий, то

p

$p$ -значення все одно повинні бути розумними (за центральною теоремою границі) до тих пір, поки ваш розподіл помилок не буде довгостроковим. Якщо ви просто хочете перевірити категоричну змінну ізольовано, ви можете використовувати непараметричну ANOVA: en.wikipedia.org/wiki/…, але, як я вже сказав, це справді стає зовсім іншим питанням, ніж поставлене і може бути більш доцільно поставити як нове запитання або відповісти, шукаючи на сайті відповідне запитання.

— Макрос

@ Druss2k, так, це правильно.

— Макрос