Чому регресію хребта називають "хребет", чому він потрібен і що відбувається, коли переходить до нескінченності?

Оцінка коефіцієнта регресії хребта - значення, що мінімізують значення $\hat{\beta}^R$

RSS + λ \sum_{j = 1}^{p} β_{j}^{2} .

$\text{RSS} + \lambda \sum_{j=1}^p\beta_j^2.$

Мої запитання:

Якщо , ми бачимо, що вираз вище зводиться до звичайного RSS. Що робити, якщо ? Я не розумію в підручнику пояснення поведінки коефіцієнтів. $\lambda = 0$ $\lambda \to \infty$
Для того, щоб допомогти зрозуміти поняття, що стоїть за певним терміном, чому цей термін називають регресією RIDGE? (Чому хребет?) І що могло бути не так із звичайною / загальною регресією, що існує необхідність ввести нову концепцію, що називається регресією хребта?

Ваша думка була б чудовою.

ridge-regression statistical-learning history

— cgo
джерело

Відповіді:

Оскільки ви попросите зрозуміти , я збираюся скористатися досить інтуїтивним підходом, а не більш математичним:

Дотримуючись концепцій у моїй відповіді тут , ми можемо сформулювати регресію хребта як регресію з фіктивними даними, додавши (у вашу формулювання) спостереження, де , і для . Якщо ви випишете новий RSS для цього розширеного набору даних, ви побачите додаткові спостереження, що додають кожний додаток форми , так новий RSS - це оригінальний - і мінімізація RSS у цьому новому розширеному наборі даних аналогічна мінімізації критерію регресії хребта. $p$ $y_{n+j}=0$ $x_{j,n+j}=\sqrt{\lambda}$ $x_{i,n+j}=0$ $i\neq j$ $(0-\sqrt{\lambda}\beta_j)^2=\lambda\beta_j^2$ $\text{RSS} + \lambda \sum_{j=1}^p\beta_j^2$

То що ми можемо побачити тут? Зі збільшенням додаткові ріжки мають один компонент, який збільшується, і тому вплив цих точок також збільшується. Вони тягнуть приталений гіперплан до себе. Тоді як та відповідні компоненти 's відходять у нескінченність, всі задіяні коефіцієнти "вирівнюються" до . $\lambda$ $x$ $\lambda$ $x$ $0$

Тобто, як , штраф буде домінувати над мінімізацією, тому s перейде до нуля. Якщо перехоплення не штрафується (звичайний випадок), то модель все більше і більше скорочується до середнього рівня відповіді. $\lambda\to\infty$ $\beta$
Я дам інтуїтивно зрозуміти, чому ми спочатку говоримо про хребти (що також говорить про те, навіщо це потрібно), а потім торкнумось невеликої історії. Перший адаптований з моєї відповіді тут :

Якщо є мультиколінеарність, ви отримуєте "хребет" у функції ймовірності (вірогідність є функцією ). Це в свою чергу дає довгу "долину" в RSS (оскільки RSS = ). $\beta$ $-2\log\mathcal{L}$

Регресія хребта "фіксує" хребет - це додає штраф, який перетворює хребет на хороший пік у ймовірності простору, що еквівалентно приємну депресію в критерії, який ми мінімізуємо:

[ Ясніше зображення ]

Справжня історія, що стоїть за назвою, трохи складніша. У 1959 р. А. Е. Герл [1] ввів аналіз хребта для методології поверхні реакцій, і він дуже скоро [2] пристосувався до боротьби з мультиколінеарністю в регресії ("регресія хребта"). Див., Наприклад, обговорення RW Hoerl в [3], де він описує використання Hoerl (AE не RW) використання контурних ділянок поверхні відгуку * у визначенні куди звернутися, щоб знайти локальну оптимуму (де один "підводить голову вгору" хребет '). У невмовно обумовлених проблемах виникає проблема дуже довгого хребта, і розуміння та методологія аналізу гребеня пристосовуються до пов'язаного питання з імовірністю / RSS в регресії, виробляючи регресію хребта.

* приклади контурних графіків поверхні відповіді (у випадку квадратичної відповіді) можна побачити тут (рис. 3.9-3.12).

Тобто "хребет" насправді відноситься до характеристик функції, яку ми намагалися оптимізувати, а не додавати "хребет" (+ діагональ) до матриці (тому, поки регресія хребта не додає діагоналі, тому ми не називаємо це регресом хребта). $X^TX$

Для отримання додаткової інформації про необхідність регресії хребта див. Перше посилання під пунктом 2. списку вище.

Список літератури:

[1]: Hoerl, AE (1959). Оптимальне рішення багатьох рівнянь змінних. Прогрес хімічної інженерії , 55 (11) 69-78.

[2]: Hoerl, AE (1962). Застосування гребінного аналізу до проблем регресії. Прогрес хімічної інженерії , 58 (3) 54-59.

[3] Hoerl, RW (1985). Аналіз хребта через 25 років. Американський статистик , 39 (3), 186-192

— Glen_b
джерело

Це надзвичайно корисно. Так, коли я просив розуміння, я шукав інтуїцію. Звичайно математика важлива, але я також шукав концептуальні пояснення, бо є деякі частини, коли математика була просто поза мною. Знову дякую.

— cgo

Чому ви маєте слово "зважений" у крапці 1?

— амеба

Це гарне запитання; немає необхідності в його зважуванні, якщо не був зважений початковий регрес. Я прибрав прикметник. Це також можна записати як зважену регресію (що, якщо ви вже робите зважену регресію, може бути дуже легше впоратися).

— Glen_b

Якщо то наш штрафний термін буде нескінченним для будь-якого окрім , тож це ми отримаємо. Немає іншого вектора, який би дав нам кінцеве значення цільової функції. $\lambda \rightarrow \infty$ $\beta$ $\beta = 0$

(Оновлення: див. Відповідь Glen_b. Це не правильна історична причина!)

Це відбувається з рішення регресії хребта в матричній нотації. Рішення виявляється Термін додає "хребет" до основної діагоналі та гарантує, що отримана матриця є незворотною. Це означає, що на відміну від OLS, ми завжди знайдемо рішення. $\hat{β} = (X^{T} X + λ I)^{- 1} X^{T} Y .$ $\hat \beta = (X^TX + \lambda I)^{-1} X^TY.$ $\lambda I$

Регресія хребта корисна, коли предиктори корелюють. У цьому випадку OLS може дати дикі результати з величезними коефіцієнтами, але якщо вони будуть накладені штрафи, ми можемо отримати набагато більш розумні результати. Загалом великою перевагою регресії хребта є те, що рішення завжди існує, як було сказано вище. Це стосується навіть випадку, коли , для якого OLS не може надати (унікального) рішення. $n < p$

Регресія хребта також є результатом, коли на вектор " введено нормальне значення . $\beta$

Ось байєсівська регресія хребта: припустимо, нашим попереднім для є . Тоді тому, що [за припущенням] маємо, що $\beta$ $\beta \sim N(0, \frac{\sigma^2}{\lambda}I_p)$ $(Y|X, \beta) \sim N(X\beta, \sigma^2 I_n)$

π (β | y) \propto π (β) f (y | β)

$\pi(\beta | y) \propto \pi(\beta) f(y|\beta)$

\propto \frac{1}{(σ^{2} / λ)^{p / 2}} \exp (- \frac{λ}{2 σ^{2}} β^{T} β) \times \frac{1}{(σ^{2})^{n / 2}} \exp (\frac{- 1}{2 σ^{2}} | | y - X β | |^{2})

$\propto \frac{1}{(\sigma^2/\lambda)^{p/2}} \exp \left( -{\lambda \over 2\sigma^2} \beta^T\beta \right) \times \frac{1}{(\sigma^2)^{n/2}} \exp \left( \frac{-1}{2\sigma^2} ||y - X\beta||^2 \right)$

\propto \exp (- \frac{λ}{2 σ^{2}} β^{T} β - \frac{1}{2 σ^{2}} | | y - X β | |^{2}) .

$\propto \exp \left( -{\lambda \over 2\sigma^2} \beta^T\beta - \frac{1}{2\sigma^2} ||y - X\beta||^2 \right).$

Давайте знайдемо задній режим (ми також можемо поглянути на задню середню або інші речі, але для цього давайте розглянемо режим, тобто найбільш вірогідне значення). Це означає, що ми хочемо що еквівалентно

max_{β \in R^{p}} \exp (- \frac{λ}{2 σ^{2}} β^{T} β - \frac{1}{2 σ^{2}} | | y - X β | |^{2})

$\max_{\beta \in \mathbb R^p} \ \exp \left( -{\lambda \over 2\sigma^2} \beta^T\beta - \frac{1}{2\sigma^2} ||y - X\beta||^2 \right)$

max_{β \in R^{p}} - \frac{λ}{2 σ^{2}} β^{T} β - \frac{1}{2 σ^{2}} | | y - X β | |^{2}

$\max_{\beta \in \mathbb R^p} \ -{\lambda \over 2\sigma^2} \beta^T\beta - \frac{1}{2\sigma^2} ||y - X\beta||^2$ оскільки суворо монотонний, і це в свою чергу еквівалентно

\log

$\log$

min_{β \in R^{p}} | | y - X β | |^{2} + λ β^{T} β

$\min_{\beta \in \mathbb R^p} ||y - X\beta||^2 + \lambda \beta^T\beta$

який повинен виглядати досить знайомо.

Таким чином, ми бачимо, що якщо поставити нормальний пріоритет із середнім 0 та дисперсією на наш вектор, значення яке максимально збільшує заднє, є оцінкою хребта. Зауважте, що це трактує більше як парафіністський параметр, тому що в ньому немає попереднього, але він не відомий, тому це не повністю байєсівське. $\frac{\sigma^2}{\lambda}$ $\beta$ $\beta$ $\sigma^2$

Редагувати: ви запитували про випадок, коли . Ми знаємо, що гіперплощина в визначається точно пунктами. Якщо ми запускаємо лінійну регресію і то точно інтерполюємо наші дані і отримуємо . Це рішення, але воно жахливе: наша робота над майбутніми даних, швидше за все, буде безглуздою. Тепер припустимо, що : більше не існує унікальної гіперплани, визначеної цими точками. Ми можемо помістити безліч гіперпланів, кожен з яких має 0 залишкових сум квадратів. $n < p$ $\mathbb R^p$ $p$ $n = p$ $||y - X\hat\beta||^2 = 0$ $n < p$

Дуже простий приклад: припустимо, . Тоді ми просто отримаємо лінію між цими двома точками. Тепер припустимо, що але . Зобразіть площину з цими двома точками. Ми можемо обертати цю площину, не змінюючи того факту, що ці дві точки знаходяться в ній, тому існує незліченно багато моделей, які мають ідеальне значення нашої цільової функції, тож навіть поза питанням оздоблення не зрозуміло, яку вибрати. $n = p = 2$ $n = 2$ $p = 3$

Як остаточний коментар (за пропозицією @ gung), LASSO (за допомогою штрафу ) зазвичай використовується для проблем з високими розмірами, оскільки він автоматично здійснює вибір змінних (задає деякі ). Досить приємно, виявляється, що LASSO еквівалентний пошуку заднього режиму при використанні подвійного експоненціалу (він же Лаплас) до вектора . LASSO також має деякі обмеження, такі як насичення на провісниках та необов'язково обробляти групи корельованих предикторів ідеально, тому еластична сітка (опукла комбінація покарань та ) може бути принесена в дію. $L_1$ $\beta_j = 0$ $\beta$ $n$ $L_1$ $L_2$

— jld
джерело

(+1) Вашу відповідь можна було б покращити, розробивши зв’язок між Байєсовою та гребінною регресією.

— Sycorax

Зробимо - зараз набравши це.

— jld

OLS не може знайти унікальне рішення, коли оскільки матриця дизайну не повна. Це дуже поширене питання; шукайте в архівах опис того, чому це не працює.

n < p

$n<p$

— Sycorax

@cgo: пояснення та пропозиція user777 для пошуку є хорошим, але заради повноти я також додав (сподіваюсь) інтуїтивне пояснення.

— jld

+1, приємна відповідь. Повторне <p, ви можете згадати, що LASSO зазвичай використовується в даному випадку, і що він тісно пов'язаний з RR.

— gung