Як можна оцінити стандартні помилки коефіцієнта при використанні регресії хребта?

Я використовую регресію хребта на високо мультиколінеарних даних. Використовуючи OLS, я отримую великі стандартні похибки коефіцієнтів завдяки мультиколінеарності. Я знаю, що регресія хребта - це спосіб вирішити цю проблему, але в усіх реалізаціях регресії хребтів, які я переглянув, немає стандартних помилок, повідомлених для коефіцієнтів. Я хотів би дещо оцінити, наскільки допомагає регресія хребта, побачивши, наскільки зменшується стандартна помилка конкретних коефіцієнтів. Чи є якийсь спосіб їх оцінити за регресією хребта?

Я думаю, що кращий варіант буде найкращим варіантом для отримання надійних SE. Це було зроблено в деяких прикладних роботах з використанням методів усадки, наприклад, аналіз даних консорціуму ревматоїдного артриту в Північній Америці з використанням підходу пенізованої логістичної регресії (BMC Proceedings 2009). Також є приємний документ від Casella про обчислення SE з пеніалізованою моделлю, пеніалізованою регресією, стандартними помилками та байєсівською Ласосом (Bayesian Analysis 2010 5 (2)). Але вони більше стурбовані пенією ласо і еластичної мережі .

Я завжди вважав регресію хребта як спосіб отримати кращі прогнози, ніж стандартний OLS, де модель, як правило, не є парцимонічною. Для вибору змінних більш доцільними є критерії " ласо" або " еластична мережа" , але тоді важко застосувати процедуру завантаження (оскільки вибрані змінні змінилися б від однієї вибірки до іншої і навіть у внутрішній$k$$\ell_1$$\ell_2$

Я не маю уявлення про пакети R, які давали б цю інформацію. Здається, він не доступний у пакеті glmnet (див. Статтю Фрідмана в JSS, Шляхи регуляризації узагальнених лінійних моделей через координатний спуск ). Тим НЕ менше, Джеллі Goeman , який є автором штрафується пакет обговорити це питання теж. Не вдається знайти в Інтернеті оригінальний PDF, тому я просто цитую його слова:

Цілком природним є запитання про стандартні похибки коефіцієнтів регресії або інших розрахункових величин. В принципі, такі стандартні помилки можна легко обчислити, наприклад, використовуючи завантажувальну систему.

І все-таки цей пакет їх свідомо не надає. Причиною цього є те, що стандартні помилки не мають великого значення для сильно упереджених оцінок, як-от виникають внаслідок пеналізованих методів оцінки. Пеналізоване оцінювання - це процедура, яка зменшує дисперсію оцінювачів, вводячи істотні зміщення. Тому зміщення кожного оцінювача є головною складовою його середньої квадратичної помилки, тоді як його дисперсія може сприяти лише невеликій частині.

На жаль, у більшості застосувань пенізованої регресії неможливо отримати досить точну оцінку зміщення. Будь-які розрахунки на основі завантажувальної програми можуть давати оцінку лише дисперсійності оцінок. Надійні оцінки зміщення доступні лише за наявності надійних неупереджених оцінок, що, як правило, не відбувається в ситуаціях, коли застосовуються пеніалізовані оцінки.

Повідомлення про стандартну помилку штрафної оцінки означає лише частину історії. Це може створити помилкове враження великої точності, повністю ігноруючи неточність, викликану упередженням. Звичайно, помилково робити довіри, які ґрунтуються лише на оцінці дисперсії оцінок, таких як інтервали довіри на основі завантажувальної програми.

Припускаючи, що процес генерації даних відповідає стандартним припущенням, що стоять за OLS, стандартні помилки для регресії хребта задаються:

$\sigma^2 (A^T A + \Gamma^T \Gamma)^{-1} A^T A (A^T A + \Gamma^T \Gamma)^{-1}$

Наведені вище позначення випливають із позначення wiki для регресії хребта . Зокрема,

$A$

$\sigma^2$

$\Gamma$

$\Gamma ^T\Gamma$$\text{$\lambda $I}$$\text{I}$$\lambda$ є Лагранжа (тобто обмеження) множника, також зазвичай називають згладжуванням, усадка, Тихонов або коефіцієнт загасання . Для вирішення використовуються як Tk, так і регрес хребта поганих ситуацій"SPSS містить додатковий код, який дає стандартне відхилення всіх параметрів, а додаткові параметри можна отримати, використовуючи поширення помилок, як у додатку до цього статті .

Що, як правило, неправильно розуміють щодо регуляризації Тихонова, це те, що кількість згладжування має дуже мало спільного з приляганням кривої, коефіцієнт згладжування слід використовувати для мінімізації похибки цікавлять параметрів. Вам слід було б пояснити набагато більше конкретної проблеми, яку ви намагаєтеся вирішити, щоб правильно використати регресію хребта в певному дійсному зворотному контексті проблеми, і багато робіт з вибору факторів згладжування, а також багато опублікованих застосувань регуляризації Тихонова є трохи евристичний.

Більш того, регуляризація Тихонова є лише однією оберненою проблемою для лікування багатьох. Перейдіть за посиланням на журнал « Зворотні проблеми» .