Множинна регресія з відсутньою змінною предиктора

Припустимо, нам надають набір даних форми $(y,x_{1},x_{2},\cdots, x_{n})$ і $(y,x_{1},x_{2},\cdots, x_{n-1})$. Нам дається завдання передбачити$y$ на основі значень $x$. Ми оцінюємо дві регресії, де:

Ми також оцінюємо регресію, яка прогнозує значення $x_{n}$ на основі значень $(x_{1},\cdots, x_{n-1})$, це є:

Припустимо, тепер нам дано значення $(x_{1},\cdots, x_{n-1})$, тоді у нас було б два різні методи прогнозування $y$:

Який із них був би кращим взагалі?

Я здогадуюсь, що перше рівняння було б краще, оскільки воно використовує інформацію з двох форм точок даних, тоді як друге рівняння використовує інформацію лише з точок даних, які мають $n-1$значення предиктора Моє навчання статистиці обмежене, і тому я хотів би звернутися за професійною порадою.

Також, загалом, який найкращий підхід до даних, які мають неповну інформацію? Іншими словами, як можна отримати найбільшу інформацію з даних, які не мають значення у всіх$n$ розміри?

+1, я думаю, що це дійсно цікаве і чітко викладене питання. Однак більше інформації допоможе нам продумати цю ситуацію.

Наприклад, які стосунки між ними $x_n$ і $y$? Цілком можливо, що немає жодної, в цьому випадку регресії$(1)$ не дає переваги щодо регресії $(2)$. (Насправді, це зовсім незначний недолік, в тому сенсі, що стандартні помилки будуть трохи більшими, і, отже, бета може бути дещо далі, в середньому, від їх справжнього значення.) Якщо є відображення функції$x_n$ до $y$, то, за визначенням, там є реальна інформація і регресія $(1)$ буде краще в початковій ситуації.

Далі, яка природа відносин між $(x_1, \cdots, x_{n-1})$ і $x_n$? Чи є такий? Наприклад, коли ми проводимо експерименти, (як правило) ми намагаємось призначити однакові кількості одиниць дослідження кожній комбінації значень пояснювальних змінних. (Цей підхід використовує множину декартового продукту рівнів IV-х років і називається "повною факторною" конструкцією; також є випадки, коли рівні навмисно плутаються для збереження даних, званих " дробовими факторними " проектами.) пояснювальні змінні є ортогональними, ваша третя регресія дасть абсолютно рівно 0. З іншого боку, в спостережному дослідженні коваріати майже завжди співвідносяться. Чим сильніша кореляція, тим менше інформації існує в$x_n$. Ці факти будуть модулювати відносні достоїнства регресії$(1)$ і регресія $(2)$.

Однак (на жаль, можливо) це складніше, ніж це. Однією з важливих, але важких концепцій багаторазової регресії є мультиколінеарність . Якщо ви спробуєте оцінити регресію$(4)$, ви виявите, що у вас ідеальна мультиколінеарність, і ваше програмне забезпечення скаже вам, що матриця дизайну не є зворотною. Таким чином, в той час як регресія$(1)$ цілком може запропонувати перевагу відносно регресії $(2)$, регресія $(4)$ не буде.

Більш цікаве питання (і те, що ви задаєте) - це що робити, якщо ви використовуєте регресію $(1)$ робити прогнози щодо $y$ використовуючи кошторисне $x_n$ значення виведення з прогнозів регресії $(3)$? (Тобто ви не оцінюєте регресію$(4)$— Ви підключаєте вихід до рівняння прогнозування, оціненого в регресії $(3)$ в модель прогнозування $(4)$.) Справа в тому, що ви фактично не отримуєте тут ніякої нової інформації. Яка б інформація не була першою$n-1$ значення прогнозів для кожного спостереження вже оптимально використовуються шляхом регресії $(2)$, тому виграшу немає.

Таким чином, відповідь на ваше перше запитання полягає в тому, що ви також можете піти з регресією $(2)$для ваших прогнозів, щоб заощадити непотрібну роботу. Зауважте, що я вирішував це досить абстрактно, а не вирішував конкретну ситуацію, яку ви описуєте, коли хтось передає вам два набори даних (я просто не можу уявити, що це відбувається). Натомість я розглядаю це питання як намагання зрозуміти щось досить глибоке щодо природи регресії. Однак, що трапляється в деяких випадках, це те, що деякі спостереження мають значення для всіх предикторів, а деякі інші спостереження (в межах одного набору даних) не містять значень для деяких прогнозів. Особливо часто це стосується поздовжніх даних. У такій ситуації потрібно дослідити багаторазову імпутацію .