Чому регрес Рейда добре працює за наявності мультиколінеарності?

Я дізнаюсь про регресію хребта і знаю, що регресія хребта працює краще за наявності мультиколінеарності. Мені цікаво, чому це правда? Буде задовольняти або інтуїтивна відповідь, або математична (обидва типи відповідей будуть ще більш задоволеними).

Крім того , я знаю, що завжди можна отримати, але наскільки добре хребет регресія робота в присутності точної коллинеарности (однієї незалежної змінної є лінійною функцією від іншого)? $\hat{\beta}$

multicollinearity ridge-regression

— TrynnaDoStat
джерело

Щодо вашого другого запитання: Якщо у вас є точна узгодженість, ви можете просто видалити одну зі змінних. Вам не потрібна регресія хребта.

— Пітер Флом - Відновіть Моніку

$x_1$ $x_2$ $y$ 3-й вимір) і часто існує дуже чітка "найкраща" площина. Але з узгодженістю відносини - це дійсно лінія через тривимірний простір з даними, розкиданими навколо нього. Але рутина регресії намагається прилаштувати площину до прямої, тому існує нескінченна кількість площин, які прекрасно перетинаються з тією лінією, яку обрано площиною, залежить від впливових точок даних, трохи змінити одну з цих точок і "найкраща" площина підгонки досить сильно змінюється. Регресія хребта полягає в тому, щоб тягнути обрану площину до більш простих / безпечних моделей (значення зміщення до 0). Подумайте про гумку від початку (0,0,0) до площини, яка тягне площину до 0, тоді як дані відтягнуть її для приємного компромісу.

— Грег Сніг
джерело

@Trynna, є фотографії, що ілюструють те, що Грег сказав про проблему колінеарності.

— ttnphns

Це дуже гарне геометричне пояснення того, чому мультиколінеарність є проблемою в регресії OLS! Але я все ще не зовсім розумію, чому тягнення літака до джерела вирішує проблему.

— TrynnaDoStat

@TrynnaDoStat, Основне занепокоєння полягає в мінливості оцінок, при мультиколінельності невелика зміна однієї точки даних може дико коливати оцінки коефіцієнтів (без упередженості). Зі зміщенням до 0 не змінюється велика зміна оцінок коефіцієнтів (тому що гумова стрічка тягне їх до 0) з незначною зміною в одній точці даних, зменшуючи мінливість.

— Грег Сніг,

Дякую @ttnphns за посилання на картинки: без цього було досить розтягнення, щоб отримати відповідь. Тепер відповідь Грега зрозуміла, і що мені потрібно було зрозуміти цей рядок у ESLII (2-е видання): "дико великий позитивний коефіцієнт на одній змінній може бути скасований аналогічно великим від'ємним коефіцієнтом на його корельованому кузена. Наклавши обмеження на розмір коефіцієнти, які усувають цю проблему ".

— Томмазо Герріні