Причина не зменшення терміну упередженості (перехоплення) в регресії

Для лінійної моделі , термін усадки завжди .P ( β $y=\beta_0+x\beta+\varepsilon$$P(\beta)$

Що є причиною того, що ми не скорочуємо термін упередження (перехоплення) ? Чи варто скорочувати термін зміщення в моделях нейронної мережі?$\beta_0$

Елементи статистичного навчання Хасті та ін. визначає гребінь регресії наступним чином (розділ 3.4.1, рівняння

$$\hat \beta{}^\mathrm{ridge} = \underset{\beta}{\mathrm{argmin}}\left\{\sum_{i=1}^N(y_i - \beta_0 - \sum_{j=1}^p x_{ij}\beta_j)^2 + \lambda \sum_{j=1}^p \beta_j^2\right\},$$ тобто явно виключають термін перехоплення$\beta_0$ із штрафного покарання.

Потім вони пишуть:

[...] зауважте, що перехоплення залишилось поза строком покарання. Покарання перехоплення зробить процедуру залежною від походження, обраного для Y ; тобто додавання постійної c до кожної з цілей y i не призведе просто до зміщення прогнозів на однакову суму c .$\beta_0$$Y$$c$$y_i$$c$

Дійсно, в присутності вільного члена, додаючи до всіх у я просто призведе до р 0 збільшується на C , а також і , відповідно , все передбачених значень у я також збільшиться на з . Це неправда, якщо перехоплення штрафується: β 0 доведеться збільшити менше ніж c .$c$$y_i$$\beta_0$$c$$\hat y_i$$c$$\beta_0$$c$

$y_i$$\hat y_i$$R$$R^2$див. Напр. Цю нитку для пояснення:Геометрична інтерпретація множинного коефіцієнта кореляціїRта коефіцієнта визначенняR2.

$$(R)^2 = \cos^2(\hat {\mathbf y}, \mathbf y) = \frac{\|\hat{\mathbf y}\|^2}{\|\mathbf y\|^2} = R^2,$$ $R$$R^2$

Покарання перехоплення призведе до того, що все це вже не відповідає дійсності.

Згадайте мету усадки чи регуляризації. Це - не допустити, щоб алгоритм навчання переосмислював навчальні дані або рівнозначно - не дозволяв обирати довільно великі значення параметрів. Це більше ймовірно для наборів даних з більш ніж декількома прикладами навчання за наявності шуму (дуже цікава дискусія про наявність шуму та його вплив обговорюється в "Навчання з даних" Ясера Абу-Мустафи). Модель, засвоєна на галасливих даних без регуляризації, швидше за все, буде працювати в деяких невидимих ​​точках даних.

Зважаючи на це, уявіть, що у вас є 2D точки даних, які ви хочете класифікувати в два класи. Якщо всі, крім параметрів зміщення, фіксовані, зміна терміну зміщення просто перемістить межу вгору або вниз. Ви можете узагальнити це для простору більш високого розміру.

Алгоритм навчання не може ставити довільно великі значення для терміну зміщення, оскільки це призведе до можливого значення великої втрати (модель не відповідає навчальним даним). Іншими словами, даючи деякий набір тренувань, ви (або алгоритм навчання) не можете перемістити площину довільно далеко від справжньої.

Отже, немає причин скорочувати термін упередженості, алгоритм навчання знайде хороший без ризику перевитрати.

Підсумкове зауваження: в деякій роботі я побачив, що при роботі в просторових просторах для класифікації немає чіткої необхідності моделювати термін зміщення. Це може працювати для лінійно відокремлюваних даних, оскільки при додаванні додаткових розмірів є більше можливостей розділити два класи.

Термін перехоплення абсолютно не застрахований від усадки. Загальна рецептура "усадки" (тобто регуляризація) ставить термін регуляризації у функцію втрат, наприклад:

$RSS(\beta) = \|y_i - X_i \beta \|^2$

$RegularizedLoss(\beta) = RSS(\beta) - \lambda f(\beta)$

Де зазвичай пов'язаний з нормою лебега, а λ - скаляр, який контролює, яку вагу ми наділимо на термін усадки.$f(\beta)$$\lambda$

Вводячи такий термін усадки у функцію втрат, як ця, це впливає на всі коефіцієнти в моделі. Я підозрюю, що ваше запитання виникає з плутанини щодо позначень, в яких (в P ( $\beta$ ) - вектор усіх коефіцієнтів, включаючи β 0 . Ваша лінійна модель, ймовірно, буде краще записати як y = X β $P(\beta)$$\beta_0$ де X - "матриця дизайну", під якою я маю на увазі, що це ваші дані зі стовпцем 1 ' , доданим до лівої сторони (щоб взяти перехоплення ).$y = X \beta + \epsilon$$X$$1's$

Тепер я не можу говорити про регуляризацію нейронних мереж. Можливо, що для нейронних мереж ви хочете уникнути усадки терміну зміщення або іншим чином спроектувати регульовану функцію втрат інакше, ніж формулювання, описане нами вище. Я просто не знаю. Але я сильно підозрюю, що ваги та умови зміщення регулюються разом.

Я не впевнений, що вищезазначена відповідь Девіда Маркса є цілком правильною; На думку Ендрю Нг, за умовою коефіцієнт зміщення / перехоплення, як правило, не регулюється лінійною регресією, і в будь-якому випадку, регулюється він чи ні, це не суттєво зміниться.

Я дам найпростіше пояснення, потім розкладу.

Припустимо, ви скорочуєтесь до нуля, тоді ваша модель ефективно стає: Просто одна проблема з цією моделлю: E

$$y_t=\varepsilon_t$$ $E[\varepsilon_t]=E[y_t]\ne 0$ , що порушує припущення про екзогенність лінійної регресії. Отже, розрахункові коефіцієнти не матимуть приємних властивостей, таких як неупередженість.

$\beta$ провісника. Однак, як ви можете знати з "регресії через походження", скидання перехоплення з моделі часто призводить до небажаних наслідків.

$\beta$$\beta_0$

$$y_t=\beta_0+\varepsilon_t$$ $$E[y_t]=\beta_0+E[\varepsilon_t]$$ $E[\varepsilon_t]=0$$\beta_0=\mu=E[y_t]$ .

Ця модель не така сексуальна, як оригінальна модель, насправді вона досить нерозумна. Однак це законна модель. Наприклад, ви можете запустити ANOVA на ньому.

$\beta_0=E[y_t]$