Манекени із змінними пастками

10

Я використовую велику регресію OLS, де всі незалежні змінні (приблизно 400) - фіктивні змінні. Якщо всі включені, існує ідеальна мультиколінеарність (фільтр фіктивних змінних), тому я повинен опустити одну із змінних, перш ніж запустити регресію.

Перше моє запитання: яку змінну слід опустити? Я читав, що краще опустити змінну, яка присутня у багатьох спостереженнях, а не ту, яка присутня лише в декількох (наприклад, якщо майже всі спостереження є "чоловічими" або "жіночими" і лише деякі - "невідомими" ", пропустіть або" чоловічого ", або" жіночого "). Це виправдано?

Після запуску регресії зі змінною опущеною я можу оцінити значення коефіцієнта опущеної змінної, тому що я знаю, що загальне середнє значення всіх моїх незалежних змінних має бути 0. Тому я використовую цей факт для зміщення значень коефіцієнта для всіх включені змінні та отримують оцінку для опущеної змінної. Наступне моє запитання - чи існує якась подібна методика, яка може бути використана для оцінки стандартної помилки для значення коефіцієнта опущеної змінної. Оскільки я повинен запустити регресію, опустивши іншу змінну (і включаючи змінну, яку я опустив у першій регресії), щоб отримати стандартну оцінку помилок для коефіцієнта спочатку пропущеної змінної.

Нарешті, я помічаю, що отримані нами коефіцієнти (після переорієнтації навколо нуля) дещо відрізняються залежно від того, яка змінна опущена. Теоретично, чи було б краще запустити кілька регресій, кожен з яких опустив іншу змінну, а потім оцінити коефіцієнт оцінки за всіма регресіями?

categorical-data

— Джеймс Девісон
джерело

Чи можете ви уточнити, що ви маєте на увазі під "загальним середнім значенням всіх моїх незалежних змінних має бути 0" і як ви це знаєте?

— onestop

В основному я хочу оцінити всі змінні відносно середнього (середнє значення всіх змінних). Коефіцієнти регресії відносно опущеної змінної. Отже, коли я віднімаю середнє значення всіх коефіцієнтів (включаючи коефіцієнт опущеної змінної 0) від кожного значення коефіцієнта, скориговані значення становитимуть середнє значення 0, і кожне значення коефіцієнта може розглядатися як відстань від середнього.

— Джеймс Девісон

8

Ви повинні отримувати "однакові" оцінки незалежно від того, яку змінну ви опускаєте; то коефіцієнти можуть бути різними, але оцінки конкретних величин або очікування повинні бути однаковими у всіх моделях.

У простому випадку нехай $x_i=1$ для чоловіків і 0 для жінок. Потім у нас є модель:

\begin{aligned} Е [у_{i} ∣ х_{i}] & = х_{i} Е [у_{i} ∣ х_{i} = 1] + (1 - х_{i}) Е [у_{i} ∣ х_{i} = 0] \\ = Е [у_{i} ∣ х_{i} = 0] + [Е [у_{i} ∣ х_{i} = 1] - Е [у_{i} ∣ х_{i} = 0]] х_{i} \\ = β_{0} + β_{1} х_{i} . \end{aligned}

$\begin{align*} E[y_i \mid x_i] &= x_iE[y_i \mid x_i = 1] + (1 - x_i)E[y_i \mid x_i = 0] \\ &= E[y_i \mid x_i=0] + \left[E[y_i \mid x_i= 1] - E[y_i \mid x_i=0]\right]x_i \\ &= \beta_0 + \beta_1 x_i. \end{align*}$ А тепер нехай

z_{i} = 1

$z_i=1$ для жінки. Тоді

\begin{aligned} Е [у_{i} ∣ z_{i}] & = z_{i} Е [у_{i} ∣ z_{i} = 1] + (1 - z_{i}) Е [у_{i} ∣ z_{i} = 0] \\ = Е [у_{i} ∣ z_{i} = 0] + [Е [у_{i} ∣ z_{i} = 1] - Е [у_{i} ∣ z_{i} = 0]] z_{i} \\ = γ_{0} + γ_{1} z_{i} . \end{aligned}

$\begin{align*} E[y_i \mid z_i] &= z_iE[y_i \mid z_i = 1] + (1 - z_i)E[y_i \mid z_i = 0] \\ &= E[y_i \mid z_i=0] + \left[E[y_i \mid z_i= 1] - E[y_i \mid z_i=0]\right]z_i \\ &= \gamma_0 + \gamma_1 z_i . \end{align*}$ Очікуване значення

y

$y$ для жінок є

β_{0}

$\beta_0$ а також

γ_{0} + γ_{1}

$\gamma_0 + \gamma_1$ . Для чоловіків це так

β_{0} + β_{1}

$\beta_0 + \beta_1$ і

γ_{0}

$\gamma_0$ .

Ці результати показують, як коефіцієнти двох моделей пов'язані. Наприклад, $\beta_1 = -\gamma_1$ . Подібна вправа з використанням ваших даних повинна показувати, що отримані "різні" коефіцієнти - це лише суми та різниці один одного.

— Чарлі
джерело

4

Джеймс, насамперед чому регресійний аналіз, а не АНОВА (є багато фахівців з подібного роду аналізів, які могли б вам допомогти)? В плюсах для ANOVA, що все , що ви на самому справі зацікавлені в розходженні в засобах різних груп , описаних комбінаціями фіктивних змінних (унікальні категорії або профілі). Що ж, якщо ви вивчаєте вплив кожної з категоричних змінних, які ви включаєте, ви також можете запустити регресію.

Я думаю, тип даних, які ви маєте тут, описаний у сенсі спільного аналізу : багато атрибутів об’єкта (стать, вік, освіта тощо), кожен має кілька категорій, таким чином ви опускаєте весь найбільший профіль, а не просто одна фіктивна змінна. Поширена практика - кодувати категорії в атрибуті наступним чином (це посилання може бути корисним, ви, мабуть, не робите тут спільного аналізу, але кодування схоже): припустимо, у вас є $n$ категорії (три, як ви запропонували, чоловік, жінка, невідомо), тоді перші дві кодуються, як зазвичай, ви включаєте дві манекени (чоловіки, жінки), даючи $(1, 0)$ якщо чоловік, $(0, 1)$ якщо жінка, і $(-1, -1)$ якщо невідомо. Таким чином результати дійсно будуть розміщені навколо терміну перехоплення. Однак ви можете кодувати іншим способом, але втратите згадану перевагу інтерпретації. Підводячи підсумок, ви випадаєте по одній категорії з кожної категорії та кодуєте свої спостереження описаним способом. Ви також включаєте термін перехоплення.

Ну а пропустити найбільші категорії профілю мені здається добре, хоча це не так важливо, принаймні, це не пусто, я думаю. Оскільки ви конкретно кодуєте змінні, спільна статистична значущість включених змінних манекенів (обидві жінки-самці можуть бути перевірені F-тестом) передбачає значення опущеної.

Може статися, що результати дещо відрізняються, але може бути, неправильне кодування впливає на це?

— Дмитро Челов
джерело

Вибачте, якщо моє написання не зрозуміло, у Литві опівночі.

— Дмитро Челов

Чому ваш невідомий (-1, -1) замість (0,0)?

— сіамія

1

Не знаючи точного характеру вашого аналізу, чи розглядали ви кодування ефектів? Таким чином кожна змінна буде представляти ефект цієї ознаки / атрибута проти загальної величини, а не якоїсь конкретної опущеної категорії. Я вважаю, що вам все одно не вистачить коефіцієнта для однієї з категорій / атрибутів - тієї, якій ви призначите -1. І все-таки з цією безліччю муляжів я б подумав, що велика середина зробить більш значимою групу порівняння, ніж будь-яка конкретна опущена категорія.

— гребінець
джерело