Яка перевага імпутації над побудовою кількох моделей у регресії?

Цікаво, чи хтось міг би дати деяке уявлення про те, чому імпутація відсутніх даних краще, ніж просто побудова різних моделей для випадків із відсутніми даними. Особливо у випадку [узагальнених] лінійних моделей (я, можливо, бачу, що в нелінійних випадках все по-іншому)

Припустимо, у нас є основна лінійна модель:

$Y = \beta_1 X_1 + \beta_2 X_2 + \beta_3 X_3 + \epsilon$

Але наш набір даних містить деякі записи з відсутньою . У наборі даних передбачення, де модель буде використовуватися, також будуть випадки відсутності . Здається, два способи продовжити:X $X_3$$X_3$

Кілька моделей

Ми могли б розділити дані на та випадки та створити окрему модель для кожного. Якщо ми припускаємо, що тісно пов'язаний з то відсутня модель даних може мати надмірну вагу щоб отримати найкращий прогноз на два прогнози. Крім того, якщо випадки відсутніх даних дещо відрізняються (через механізм відсутності даних), то це може включати цю різницю. На нижній стороні обидві моделі вміщують лише частину даних кожна, і не «допомагають» одна одній, так що вміст може бути поганим на обмежених наборах даних.X 3 X 3 X 2 X $X_3$$X_3$$X_3$$X_2$$X_2$

Імпутація

спочатку заповнює , будуючи модель на основі і а потім випадковим чином відбираючи вибірки для підтримки шуму в імпутованих даних. Оскільки це знову дві моделі, чи не в кінцевому підсумку це буде таким самим, як метод з декількома моделями вище? Якщо вона здатна перевершити - звідки береться прибуток? Це просто те, що придатність для робиться на всьому наборі?X 1 X 2 X $X_3$$X_1$$X_2$$X_1$

Редагувати:

Хоча відповідь Стефана поки що пояснює, що встановлення повної моделі корпусу на імпутовані дані випереджає вміст повних даних, і, здається, очевидно, що навпаки, правда, все ще існує деяке непорозуміння щодо прогнозування відсутніх даних.

Якщо у мене є вищевказана модель, навіть ідеально підібрана, це взагалі буде жахливою моделлю прогнозування, якщо я просто поставив нуль при прогнозуванні. Уявімо, наприклад, що тоді є абсолютно марним ( ), коли присутній, але все-таки буде корисним за відсутності .X 2 β 2 = $X_2 = X_3+\eta$$X_2$$\beta_2 = 0$X $X_3$$X_3$

Ключове питання, яке я не розумію, це: чи краще побудувати дві моделі: одну за допомогою та одну за допомогою , чи краще побудувати єдину (повну) модель та використовувати імпутація на наборах даних прогнозу - чи це одне і те ж?( X 1 , X 2 , X 3$(X_1, X_2)$$(X_1, X_2, X_3)$

Наводячи відповідь Стефана, здається, що краще побудувати повну модель справи на імпутованому навчальному наборі, і навпаки, мабуть, найкраще побудувати відсутню модель даних на повному наборі даних із відхиленими . Чи відрізняється цей другий крок від використання моделі імпутації в даних прогнозування?$X_3$

Я думаю, що ключовим тут є розуміння механізму відсутності даних; або принаймні виключати деякі. Побудова окремих моделей схожа на трактування зниклих та відсутніх груп як випадкових вибірок. Якщо відсутність на X3 пов'язана з X1 або X2 або якоюсь іншою непоміченою змінною, то ваші оцінки, ймовірно, будуть упередженими у кожній моделі. Чому б не використовувати багаторазову імпутацію на наборі даних про розробку та не використовувати комбіновані коефіцієнти для множинного імпульсного набору прогнозів? Середня серед прогнозів, і ви повинні бути хорошими.

Я припускаю, що вам цікаво отримати неупереджені оцінки коефіцієнтів регресії. Аналіз повних випадків дає неупереджені оцінки ваших коефіцієнтів регресії за умови, що ймовірність того, що X3 відсутня, не залежить від Y. Це справедливо, навіть якщо вірогідність відсутності залежить від X1 або X2, і для будь-якого типу регресійного аналізу.

Звичайно, оцінки можуть бути неефективними, якщо частка закінчених справ невелика. У цьому випадку ви можете використовувати багаторазову імпутацію X3, заданої X2, X1 і Y, щоб збільшити точність. Докладніше див. White and Carlin (2010) Stat Med .

Одне дослідження з Гарварду пропонує багаторазову імпутацію з п'ятьма прогнозами відсутніх даних (ось референція, http://m.circoutcome.ahajournals.org/content/3/1/98.full ). Навіть тоді я пам'ятаю коментарі, що моделі імпутації все ще не можуть створювати інтервали покриття для параметрів моделі, які не містять справжніх базових значень!

Зважаючи на це, найкраще використовувати п’ять простих наївних моделей для відсутнього значення (припускаючи, що вони не пропущені випадково в поточній дискусії), які дають хороший розподіл значень, так що інтервали покриття можуть, принаймні, містити справжні параметри .

Мій досвід теорії відбору проб полягає в тому, що багато ресурсів часто витрачається на підгрупування невідповідної сукупності, яка часом здається сильно відрізняється від групи відповідей. Як такий, я рекомендував би подібну вправу щодо регресії пропущеного значення хоча б один раз у конкретній області застосування. Взаємовідносини, не виявлені при такому дослідженні відсутніх даних, можуть мати історичну цінність у побудові кращих моделей прогнозування відсутніх даних на майбутнє.