Регресія найменшого кута підтримує кореляцію монотонно зменшуваною та зв'язаною?

Я намагаюся вирішити проблему для найменшого кутового регресу (ЛАР). Це проблема 3,23 на сторінці 97 з Гесте і ін., Елементи статистичного навчання, другий. ред. (5-та друкарня) .

Розглянемо проблему регресії з усіма змінними та реакцією, що мають середнє нульове та стандартне відхилення. Припустимо також, що кожна змінна має однакову абсолютну кореляцію з відповіддю:

$\frac{1}{N} | \left \langle \bf{x}_j, \bf{y} \right \rangle | = \lambda, j = 1, ..., p$

Нехай - найменший коефіцієнт квадрата на і нехай для .$\hat{\beta}$$\mathbf{y}$$\mathbf{X}$$\mathbf{u}(\alpha)=\alpha \bf{X} \hat{\beta}$$\alpha\in[0,1]$

Мене просять показати, що і у мене виникають проблеми з цим. Зауважимо, що це, в основному, говорить про те, що співвідношення кожного з залишками залишаються рівними за величиною, коли ми рухаємося до .

$$\frac{1}{N} | \left \langle \bf{x}_j, \bf{y}-u(\alpha) \right \rangle | = (1 - \alpha) \lambda, j = 1, ..., p$$ $x_j$$u$

Я також не знаю, як показати, що співвідношення дорівнюють:

$\lambda(\alpha) = \frac{(1-\alpha)}{\sqrt{(1-\alpha)^2 + \frac{\alpha (2-\alpha)}{N} \cdot RSS}} \cdot \lambda$

Будь-які вказівники будуть дуже вдячні!

Це проблема 3,23 на сторінці 97 з Гесте і ін., Елементи статистичного навчання , другий. ред. (5-та друкарня) .

Ключовим моментом цієї проблеми є добре розуміння звичайних найменших квадратів (тобто лінійної регресії), зокрема ортогональності встановлених значень та залишків.

Ортогональность Лемма : Нехай буде матриця плану , вектора реакції і (вірні) параметри. Якщо припустити, що є повноцінним (що ми будемо впродовж усього), оцінки OLS є . Встановлені значення . Тоді . Тобто встановлені значення є ортогональними щодо залишків. Це випливає, оскільки .$X$$n \times p$$y$$\beta$$X$$\beta$$\hat{\beta} = (X^T X)^{-1} X^T y$$\hat{y} = X (X^T X)^{-1} X^T y$$\langle \hat{y}, y-\hat{y} \rangle = \hat{y}^T (y - \hat{y}) = 0$$X^T (y - \hat{y}) = X^T y - X^T X (X^T X)^{-1} X^T y = X^T y - X^T y = 0$

Тепер бути вектор - стовпець такої , що є - го стовпця . Передбачаються умови:$x_j$$x_j$$j$$X$

• $\frac{1}{N} \langle x_j, x_j \rangle = 1$ для кожного , ,$j$$\frac{1}{N} \langle y, y \rangle = 1$
• $\frac{1}{N} \langle x_j, 1_p \rangle = \frac{1}{N} \langle y, 1_p \rangle = 0$ де позначає вектор довжини , і$1_p$$p$
• $\frac{1}{N} | \langle x_j, y \rangle | = \lambda$ для всіх .$j$

Зауважимо, що, зокрема , останнє твердження лемми ортогональності тотожне для всіх .$\langle x_j, y - \hat{y} \rangle = 0$$j$

---

Кореляції пов'язані

Тепер . Отже, а другий член праворуч дорівнює нулю за леммою ортогональності , тому за бажанням. Абсолютна величина кореляцій справедлива $u(\alpha) = \alpha X \hat{\beta} = \alpha \hat{y}$

$$\langle x_j, y - u(a) \rangle = \langle x_j, (1-\alpha) y + \alpha y - \alpha \hat{y} \rangle = (1-\alpha) \langle x_j, y \rangle + \alpha \langle x_j, y - \hat{y} \rangle ,$$ $$\frac{1}{N} | \langle x_j, y - u(\alpha) \rangle | = (1-\alpha) \lambda ,$$ $$\hat{\rho}_j(\alpha) = \frac{\frac{1}{N} | \langle x_j, y - u(\alpha) \rangle |}{\sqrt{\frac{1}{N} \langle x_j, x_j \rangle }\sqrt{\frac{1}{N} \langle y - u(\alpha), y - u(\alpha) \rangle }} = \frac{(1-\alpha)\lambda}{\sqrt{\frac{1}{N} \langle y - u(\alpha), y - u(\alpha) \rangle }}$$

Примітка : Права частина вгорі не залежить від і чисельник точно такий же, як і коваріація, оскільки ми припустили, що всі 'і розташовані по центру (так, зокрема, віднімання середнього значення не потрібно ).$j$$x_j$$y$

У чому справа? Як збільшується вектор відповідь модифікують так , щоб вона дюймів її шлях до такого в разі ( обмежена! Розчину) за методом найменших квадратів , отримані від включення тільки перші параметрів в моделі. Це одночасно змінює оцінені параметри, оскільки вони є простими внутрішніми продуктами предикторів з (модифікованим) вектором відповіді. Однак модифікація набуває особливої ​​форми. Він зберігає (величину) кореляції між предикторами та модифікованою відповіддю однаковими протягом усього процесу (навіть незважаючи на те, що значення кореляції змінюється). Подумайте, що це робить геометрично, і ви зрозумієте назву процедури!$\alpha$$p$

---

Явна форма (абсолютної) кореляції

Давайте зосередимось на терміні в знаменнику, оскільки чисельник вже в потрібній формі. У нас є

$$\langle y - u(\alpha), y - u(\alpha) \rangle = \langle (1-\alpha) y + \alpha y - u(\alpha), (1-\alpha) y + \alpha y - u(\alpha) \rangle .$$

Підставляючи і використовуючи лінійність внутрішнього добутку, отримуємо$u(\alpha) = \alpha \hat{y}$

$$\langle y - u(\alpha), y - u(\alpha) \rangle = (1-\alpha)^2 \langle y, y \rangle + 2\alpha(1-\alpha) \langle y, y - \hat{y} \rangle + \alpha^2 \langle y-\hat{y}, y-\hat{y} \rangle .$$

Зауважте, що

• $\langle y, y \rangle = N$ за припущенням,
• $\langle y, y - \hat{y} \rangle = \langle y - \hat{y}, y - \hat{y} \rangle + \langle \hat{y}, y - \hat{y} \rangle = \langle y - \hat{y}, y - \hat{y}\rangle$ , застосувавши лемму ортогональності (ще раз) до другого члена в середині; і,
• $\langle y - \hat{y}, y - \hat{y} \rangle = \mathrm{RSS}$ за визначенням.

Збираючи це все разом, ви помітите, що ми отримаємо

$$\hat{\rho}_j(\alpha) = \frac{(1-\alpha) \lambda}{\sqrt{ (1-\alpha)^2 + \frac{\alpha(2-\alpha)}{N} \mathrm{RSS}}} = \frac{(1-\alpha) \lambda}{\sqrt{ (1-\alpha)^2 (1 - \frac{\mathrm{RSS}}{N}) + \frac{1}{N} \mathrm{RSS}}}$$

Щоб обернути речі, і так зрозуміло, що монотонно зменшується в і як .$1 - \frac{\mathrm{RSS}}{N} = \frac{1}{N} (\langle y, y, \rangle - \langle y - \hat{y}, y - \hat{y} \rangle ) \geq 0$$\hat{\rho}_j(\alpha)$$\alpha$$\hat{\rho}_j(\alpha) \downarrow 0$$\alpha \uparrow 1$

---

Епілог : Концентруйтеся на ідеях тут. Дійсно є лише один. Ортогональность лема робить майже всю роботу за нас. Решта - це лише алгебра, позначення та вміння ці два останніх працювати.