Як знайти коефіцієнти регресії в регресії хребта?

У регресії хребта цільовою функцією, яку слід мінімізувати, є:

RSS + λ \sum β_{j}^{2} .

$\text{RSS}+\lambda \sum\beta_j^2.$

Чи можна це оптимізувати за допомогою методу множника Лагранжа? Або це пряма диференціація?

regression regularization ridge-regression

— Мінай
джерело

Який зв’язок між заголовком (який фокусується на ) та питанням (яке, мабуть, стосується лише )? Я стурбований тим, що "бути оптимізованим" могло мати різну інтерпретацію залежно від того, які змінні вважаються тими, які можна змінювати, а які - виправляти.

λ

$\lambda$

β_{j}

$\beta_j$

— whuber

спасибі змінили питання. Я читав, що знайдений шляхом перехресної перевірки, але я вважаю, що це означає, що у вас є і використовуєте різні дані, щоб знайти найкраще Питання - як ви знайдете у перше місце, коли невідомий?

λ

$\lambda$

β_{j}

$\beta_j$

λ

$\lambda$

β_{j}

$\beta_j$

λ

$\lambda$

— Мінай

Відповіді:

Існує дві рецептури для проблеми хребта. Перший - це

β_{R} = \underset{β}{argmin} {(y - X β)}^{'} (y - X β)

$\boldsymbol{\beta}_R = \operatorname*{argmin}_{\boldsymbol{\beta}} \left( \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \right)^{\prime} \left( \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \right)$

на тему

\sum_{j} β_{j}^{2} \leq s .

$\sum_{j} \beta_j^2 \leq s.$

Цей склад показує обмеження розміру на коефіцієнти регресії. Зверніть увагу, що означає це обмеження; ми змушуємо коефіцієнти лежати в кулі навколо початку, радіусом . $\sqrt{s}$

Друга рецептура - це саме ваша проблема

β_{R} = \underset{β}{argmin} {(y - X β)}^{'} (y - X β) + λ \sum β_{j}^{2}

$\boldsymbol{\beta}_R = \operatorname*{argmin}_{\boldsymbol{\beta}} \left( \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \right)^{\prime} \left( \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \right) + \lambda \sum\beta_j^2$

що може розглядатися як мультиплікаційний склад Ларгранжа. Зауважте, що тут є параметром настройки, і більші його значення приведуть до більшої усадки. Ви можете перейти до диференціації виразу відносно та отримати відомий оцінювач гребнів $\lambda$ $\boldsymbol{\beta}$

\begin{matrix} (1) & β_{R} = {(X^{'} X + λ I)}^{- 1} X^{'} y \end{matrix}

$\boldsymbol{\beta}_{R} = \left( \mathbf{X}^{\prime} \mathbf{X} + \lambda \mathbf{I} \right)^{-1} \mathbf{X}^{\prime} \mathbf{y} \tag{1}$

Дві рецептури є повністю рівнозначними , оскільки існує відповідність один до одного між та . $s$ $\lambda$

Дозвольте трохи детальніше розглянути це. Уявіть, що ви перебуваєте в ідеальному ортогональному випадку . Це дуже спрощена та нереальна ситуація, але ми можемо дослідити оцінку трохи ближче, тому поводиться зі мною. Поміркуйте, що відбувається з рівнянням (1). Оцінка гребеня зводиться до $\mathbf{X}^{\prime} \mathbf{X} = \mathbf{I}$

β_{R} = {(I + λ I)}^{- 1} X^{'} y = {(I + λ I)}^{- 1} β_{O L S}

$\boldsymbol{\beta}_R = \left( \mathbf{I} + \lambda \mathbf{I} \right)^{-1} \mathbf{X}^{\prime} \mathbf{y} = \left( \mathbf{I} + \lambda \mathbf{I} \right)^{-1} \boldsymbol{\beta}_{OLS}$

як і в ортогональному випадку, оцінювач OLS задається . Дивлячись на цей компонент, мудрий зараз $\boldsymbol{\beta}_{OLS} = \mathbf{X}^{\prime} \mathbf{y}$

\begin{matrix} (2) & β_{R} = \frac{β_{O L S}}{1 + λ} \end{matrix}

$\beta_R = \frac{\beta_{OLS}}{1+\lambda} \tag{2}$

Тоді зауважте, що тепер усадка є постійною для всіх коефіцієнтів. У загальному випадку це може бути недоступним, і справді можна показати, що усадки будуть сильно відрізнятися, якщо в матриці є виродження . $\mathbf{X}^{\prime} \mathbf{X}$

Але повернемося до обмеженої проблеми оптимізації. За теорією KKT , необхідною умовою оптимальності є

λ (\sum β_{R, j}^{2} - s) = 0

$\lambda \left( \sum \beta_{R,j} ^2 -s \right) = 0$

тому або або (у цьому випадку ми говоримо, що обмеження є обов'язковим). Якщо , немає пенальті, і ми знову в звичайній ситуації з OLS. Припустимо, тоді обмеження є обов'язковим, і ми опинимось у другій ситуації. Використовуючи формулу в (2), ми маємо $\lambda = 0$ $\sum \beta_{R,j} ^2 -s = 0$ $\lambda = 0$

s = \sum β_{R, j}^{2} = \frac{1}{{(1 + λ)}^{2}} \sum β_{O L S, j}^{2}

$s = \sum \beta_{R,j}^2 = \frac{1}{\left(1 + \lambda \right)^2} \sum \beta_{OLS,j}^2$

звідки ми отримуємо

λ = \sqrt{\frac{\sum β_{O L S, j}^{2}}{s}} - 1

$\lambda = \sqrt{\frac{\sum \beta_{OLS,j} ^2}{s}} - 1$

відносини один на один, заявлені раніше. Я думаю, що це важче встановити в неортогональному випадку, але результат несе незалежність.

Подивіться ще раз на (2), і ви побачите, що ми все ще відсутня . Щоб отримати оптимальне значення для нього, ви можете скористатися перехресною валідацією або переглянути слід хребта. Останній метод включає побудову послідовності в (0,1) і перегляд того, як змінюються оцінки. Потім вибираєте яка їх стабілізує. Цей метод був запропонований у другому з наведених нижче посилань, і є найдавнішим. $\lambda$ $\lambda$ $\lambda$

Список літератури

Херль, Артур Е. та Роберт В. Кеннард. "Регресія хребта: Об'єктивна оцінка неортогональних проблем". Технометрія 12.1 (1970): 55-67.

Херль, Артур Е. та Роберт В. Кеннард. "Регресія хребта: додатки до неортогональних проблем." Технометрія 12.1 (1970): 69-82.

— ДжонК
джерело

Регресія @Minaj Ridge має постійну усадку для всіх коефіцієнтів (крім перехоплення). Ось чому є лише один множник.

— ДжонК

@amoeba Це пропозиція Херла та Кеннард, людей, які впровадили регресію хребта в 1970-х. Виходячи з їх досвіду - і мого - коефіцієнти будуть стабілізуватися в цьому інтервалі навіть при екстремальних ступенях мультиколінеарності. Звичайно, це емпірична стратегія, і тому не гарантовано працювати весь час.

— ДжонК

Ви також можете просто скористатися методом псевдоспостереження і отримати оцінки, що не має нічого складнішого за програму регресії прямолінійних найменших квадратів. Ви також можете дослідити ефект зміни подібним чином.

λ

$\lambda$

— Glen_b -Встановіть Моніку

@amoeba Це правда, що хребет не є інваріантним за шкалою, тому загальноприйнята практика попередньо стандартизувати дані. Я включив відповідні посилання на випадок, якщо ви хочете подивитися. Вони надзвичайно цікаві і не настільки технічні.

— ДжонК

@JohnK фактично регресія хребта скорочує кожну на різну кількість, тому усадка не є постійною, хоча є лише один параметр усадки .

β

$\beta$

λ

$\lambda$

— Френк Харрелл

Мої книги " Стратегії моделювання регресії" заглиблюються у використання ефективного AIC для вибору . Це походить від пеніалізованої вірогідності журналу та ефективних ступенів свободи, останній залежить від того, наскільки зменшення відхилень зменшуються пеналізацією. Презентація про це є тут . R Пакет Знаходить , який оптимізує ефективний АІК, а також дозволяє кілька параметрів штрафу (наприклад, один для лінійних основних ефектів, один для нелінійних основних ефектів, один для лінійних ефектів взаємодії, і один для нелінійних ефектів взаємодії). $\lambda$ $\hat{\beta}$ rmspentrace $\lambda$

— Френк Харрелл
джерело

+1. Що ви думаєте про використання помилки CV-відпуску, обчисленої за чіткою формулою (тобто без фактичного виконання CV), для вибору ? Чи маєте ви якесь уявлення про те, як це на практиці порівнюється з "ефективним АПК"?

λ

$\lambda$

— амеба каже, що повернеться до Моніки

Я цього не вивчав. LOOCV займає багато обчислень.

— Френк Харрелл

Не застосовується явна формула: stats.stackexchange.com/questions/32542 .

— амеба каже, що повернеться до Моніки

Ця формула працює для особливого випадку OLS, а не для максимальної ймовірності в цілому. Але є приблизна формула з використанням залишків балів. Я розумію, що в основному ми говоримо про OLS в цій дискусії.

— Френк Харрелл

Я не роблю це аналітично, а скоріше чисельно. Я зазвичай будувати RMSE проти λ як такий:

Рисунок 1. RMSE і константа λ або альфа.

— Леннарт
джерело

Чи означає це, що ви фіксуєте певне значення а потім диференціюєте вираз, щоб знайти 's, після якого ви обчислюєте RMSE і виконуєте процес знову за новими значеннями ?

λ

$\lambda$

β_{j}

$\beta_j$

λ

$\lambda$

— Мінай