(Чому) у переоснащених моделей властиві великі коефіцієнти?

Я думаю, що чим більший коефіцієнт змінної, тим більше здатність моделі до того, щоб «розгойдуватися» в цьому вимірі, забезпечуючи збільшену можливість підключення шуму. Хоча я думаю, що у мене є розумний сенс взаємозв'язку між дисперсією моделі та великими коефіцієнтами, я не маю настільки хорошого розуміння того, чому вони трапляються в моделях з надлишком. Невірно сказати, що вони є симптомом надмірного оснащення, а коефіцієнт усадки - це більше техніка зменшення дисперсії в моделі? Регуляризація через зменшення коефіцієнтів, здається, працює за принципом, що великі коефіцієнти є результатом переозброєної моделі, але, можливо, я неправильно трактую мотивацію цієї техніки.

Моя інтуїція, що великі коефіцієнти, як правило, є симптомом надмірного пристосування, випливає з наступного прикладу:

Скажімо, ми хотіли помістити $n$ точок, які всі сидять на осі x. Ми можемо легко побудувати поліном, рішенням якого є ці точки: . Скажімо, наші точки знаходяться при . Ця методика дає всі коефіцієнти> = 10 (крім одного коефіцієнта). Оскільки ми додамо більше точок (і тим самим збільшуємо ступінь многочлена), величина цих коефіцієнтів швидко зросте.$f(x) = (x-x_1)(x-x_2)....(x-x_{n-1})(x-x_n)$$x=1,2,3,4$

Цей приклад полягає в тому, як я зараз пов'язую розмір коефіцієнтів моделі із "складністю" згенерованих моделей, але я стурбований тим, що цей випадок повинен бути стерильним, щоб дійсно свідчити про поведінку в реальному світі. Я навмисно побудував переозброєну модель (поліном 10-го ступеня OLS, що підходить для даних, сформованих з квадратичної моделі вибірки) і був здивований, побачивши в своїй моделі переважно невеликі коефіцієнти:

set.seed(123)
xv = seq(-5,15,length.out=1e4)
x=sample(xv,20)
gen=function(v){v^2 + 7*rnorm(length(v))}
y=gen(x)
df = data.frame(x,y)

model = lm(y~poly(x,10,raw=T), data=df)
summary(abs(model$coefficients))
#     Min.  1st Qu.   Median     Mean  3rd Qu.     Max. 
# 0.000001 0.003666 0.172400 1.469000 1.776000 5.957000


data.frame(sort(abs(model$coefficients)))
#                                   model.coefficients
# poly(x, 10, raw = T)10                  7.118668e-07
# poly(x, 10, raw = T)9                   3.816941e-05
# poly(x, 10, raw = T)8                   7.675023e-04
# poly(x, 10, raw = T)7                   6.565424e-03
# poly(x, 10, raw = T)6                   1.070573e-02
# poly(x, 10, raw = T)5                   1.723969e-01
# poly(x, 10, raw = T)3                   6.341401e-01
# poly(x, 10, raw = T)4                   8.007111e-01
# poly(x, 10, raw = T)1                   2.751109e+00
# poly(x, 10, raw = T)2                   5.830923e+00
# (Intercept)                             5.956870e+00

Можливо, з цього прикладу можна відзначити, що дві третини коефіцієнтів менше 1, а відносно інших коефіцієнтів є три коефіцієнти, які незвичайно великі (а змінні, пов'язані з цими коефіцієнтами, також бувають найбільш тісні пов'язані з істинною моделлю вибірки).

Чи є (L2) регуляризація лише механізмом зменшення дисперсії в моделі і тим самим "згладжує" криву для кращого пристосування до майбутніх даних, чи це скористатися евристикою, отриманою з спостереження, що перефіфіковані моделі мають великі коефіцієнти? Чи точне твердження про те, що у переоснащених моделей є великі коефіцієнти? Якщо так, чи може хтось трохи пояснити механізм, що стоїть за явищем, та / або направити мене на деяку літературу?

У контексті регуляризації "великий" коефіцієнт означає, що величина оцінки більша, ніж була б, якби специфікація фіксованої моделі була використана . Вплив отримання даних не лише оцінок, але й специфікації моделі.

Поміркуйте, що зробить така процедура, як покрокова регресія для даної змінної. Якщо оцінка його коефіцієнта невелика відносно стандартної похибки, вона випаде з моделі. Це може бути тому, що справжнє значення дійсно невелике, або просто через випадкову помилку (або комбінацію двох). Якщо воно впало, то ми більше не звертаємо на це ніякої уваги. З іншого боку, якщо оцінка велика відносно її стандартної помилки, вона буде збережена. Помітьте дисбаланс: наша кінцева модель відхилить змінну, коли оцінка коефіцієнта невелика, але ми збережемо її, коли оцінка велика. Таким чином, ми, ймовірно, завищуємо його значення.

Інакше кажучи, що означає, що ви перевищуєте, це те, що ви завищуєте вплив заданого набору прогнозів на відповідь. Але єдиний спосіб переоцінити вплив - це якщо оцінені коефіцієнти занадто великі (і навпаки, оцінки для виключених прогнозів занадто малі).

step$\beta_3$$\beta_{10}$

Ось приклад того, про що я говорю.

repeat.exp <- function(M)
{
    x <- seq(-2, 2, len=25)
    px <- poly(x, 10)
    colnames(px) <- paste0("x", 1:10)
    out <- setNames(rep(NA, 11), c("(Intercept)", colnames(px)))
    sapply(1:M, function(...) {
        y <- x^2 + rnorm(N, s=2)
        d <- data.frame(px, y)
        b <- coef(step(lm(y ~ x1, data=d), y ~ x1 + x2 + x3 + x4 + x5 + x6 + x7 + x8 + x9 + x10, trace=0))
        out[names(b)] <- b
        out
    })
}

set.seed(53520)
z <- repeat.exp(M=1000)

# some time later...
rowMeans(abs(z), na.rm=TRUE)

(Intercept)          x1          x2          x3          x4          x5          x6          x7          x8          x9         x10 
   1.453553    3.162100    6.533642    3.108974    3.204341    3.131208    3.118276    3.217231    3.293691    3.149520    3.073062 

$\beta_3$$\beta_{10}$

repeat.exp.base <- function(M)
{
    x <- seq(-2, 2, len=25)
    px <- poly(x, 10)
    colnames(px) <- paste0("x", 1:10)
    out <- setNames(rep(NA, 11), c("(Intercept)", colnames(px)))
    sapply(1:M, function(...) {
        y <- x^2 + rnorm(N, s=2)
        d <- data.frame(px, y)
        b <- coef(lm(y ~ ., data=d))
        out[names(b)] <- b
        out
    })
}

set.seed(53520)
z2 <- repeat.exp.base(M=1000)

rowMeans(abs(z2))
(Intercept)          x1          x2          x3          x4          x5          x6          x7          x8          x9         x10 
   1.453553    1.676066    6.400629    1.589061    1.648441    1.584861    1.611819    1.607720    1.656267    1.583362    1.556168 

$\beta_1$$\beta_2$

Один дуже простий відповідь, не дивлячись на ваші деталі: Коли ви переозброюєте, оцінювачі параметрів, як правило, отримують великі відхилення, а при великих відхиленнях великі значення - це саме те, чого слід очікувати!

Девід. Я думаю, що проблема у вашому прикладі полягає в тому, що ви не нормалізували свої дані (тобто X ^ 10 >> X.

Тож Девід правильно, що він скорочує більші коефіцієнти (тому ви можете отримати багато малих коефіцієнтів, тоді як регуляризація L1 може дати вам один великий, а решта нульовий)

так що в основному є інкапсуляція, що невеликі зміни повинні мати невеликі наслідки (і, звичайно, ми повертаємося до питання, наскільки мало - нормалізації ваших даних тощо). Але головне в більш високих вимірах, де кореляція вступає в гру: уявіть, у вас є дві змінні x, y, які сильно корелюються (обидві нормалізуються на дисперсію 1), тоді їх різниця буде невеликою = "шум" - тому великі ваги будуть штрафувати не дозволяють вам підходити до цього шуму (і отримувати дуже великі майже скасовуючі коефіцієнти для y і x).

Приклад все ще справедливий для будь-якого лінійного відношення (y = mx)

шукати регресу хребта

Це зображення з моєї записки курсу DL Ендрю Нґ, будь ласка, повідомте мене, якщо у вас є питання