Регульована лінійна проти RKHS-регресія

Я вивчаю різницю між регуляризацією в регресії RKHS і лінійною регресією, але мені важко зрозуміти вирішальну різницю між ними.

Дано пари введення-виведення $(x_i,y_i)$ , Я хочу оцінити функцію $f(\cdot)$ наступним чином

f (x) \approx u (x) = \sum_{i = 1}^{m} α_{i} K (x, x_{i}),

$\begin{equation}f(x)\approx u(x)=\sum_{i=1}^m \alpha_i K(x,x_i),\end{equation}$ де

K (\cdot, \cdot)

$K(\cdot,\cdot)$ є функцією ядра. Коефіцієнти

α_{m}

$\alpha_m$ можна або знайти, вирішивши

min_{α \in R^{n}} \frac{1}{n} ‖ Y - K α ‖_{R^{n}}^{2} + λ α^{T} K α,

$\begin{equation} {\displaystyle \min _{\alpha\in R^{n}}{\frac {1}{n}}\|Y-K\alpha\|_{R^{n}}^{2}+\lambda \alpha^{T}K\alpha},\end{equation}$ де, з деяким зловживанням позначенням,

i, j

$i,j$ '-й матриця ядра

K

$K$ є

K (x_{i}, x_{j})

$K(x_{i},x_{j})$ . Це дає

α^{*} = (K + λ n I)^{- 1} Y .

$\begin{equation} \alpha^*=(K+\lambda nI)^{-1}Y. \end{equation}$ Як варіант, ми могли б трактувати проблему як нормальну проблему регресії хребта / лінійну регресію:

min_{α \in R^{n}} \frac{1}{n} ‖ Y - K α ‖_{R^{n}}^{2} + λ α^{T} α,

$\begin{equation} {\displaystyle \min _{\alpha\in R^{n}}{\frac {1}{n}}\|Y-K\alpha\|_{R^{n}}^{2}+\lambda \alpha^{T}\alpha},\end{equation}$ з рішенням

α^{*} = (K^{T} K + λ n I)^{- 1} K^{T} Y .

$\begin{equation} {\alpha^*=(K^{T}K +\lambda nI)^{-1}K^{T}Y}. \end{equation}$

Яка була б вирішальна різниця між цими двома підходами та їх рішеннями?

— MthQ
джерело

stats.stackexchange.com/questions/79192/…

— Cagdas Ozgenc

@MThQ - Невже ваш опис «нормальної» регресії хребта все ще працює у подвійному? Просто для уточнення того, що я вважаю, що нормальна регресія хребта передбачається, що працює в первинному (де зроблено явне представлення функції).

— rnoodle

Як ви, напевно, помічали, записуючи проблеми оптимізації, єдиною відмінністю мінімізації є те, яку норму Гільберта використовувати для пеналізації. Тобто, для кількісного визначення того, які «великі» значення призначені для пеналізації. У налаштуваннях RKHS ми використовуємо внутрішній продукт RKHS , тоді як регресія хребта карається щодо евклідової норми. $\alpha$ $\alpha^tK\alpha$

Цікавим теоретичним наслідком є те, як кожен метод впливає на спектр ядра що відтворюється . За теорією RKHS ми маємо, що є симетричним позитивним певним. За спектральною теоремою можна записати де - діагональна матриця власних значень, а - ортонормальна матриця власних векторів. Отже, у налаштуванні RKHS Тим часом, у налаштуваннях регресії хребта зауважте, що за симетрією, $K$ $K$ $K = U^tDU$ $D$ $U$

\begin{aligned} (K + λ n I)^{- 1} Y & = [U^{t} (D + λ n I) U]^{- 1} Y \\ = U^{t} [D + λ n I]^{- 1} U Y . \end{aligned}

$\begin{align} (K+\lambda nI)^{-1}Y &= [U^t(D+\lambda nI)U]^{-1}Y\\ &= U^t[D+\lambda nI]^{-1}UY. \end{align}$

K^{t} K = K^{2}

$K^tK=K^2$

\begin{aligned} (K^{2} + λ n I)^{- 1} K Y & = [U^{t} (D^{2} + λ n I) U]^{- 1} K Y \\ = U^{t} [D^{2} + λ n I]^{- 1} U K Y \\ = U^{t} [D^{2} + λ n I]^{- 1} D U Y \\ = U^{t} [D + λ n D^{- 1}]^{- 1} U Y . \end{aligned}

$\begin{align} (K^2+\lambda nI)^{-1}KY &= [U^t(D^2+\lambda nI)U]^{-1}KY\\ &= U^t[D^2+\lambda nI]^{-1}UKY\\ &= U^t[D^2+\lambda nI]^{-1}DUY\\ &= U^t[D+\lambda nD^{-1}]^{-1}UY. \end{align}$ Нехай спектр буде . У регресії RKHS власні значення стабілізуються за допомогою . У регресії маємо . В результаті RKHS рівномірно змінює власні значення, тоді як Ridge додає більше значення, якщо відповідне менше.

K

$K$

ν_{1}, \dots, ν_{n}

$\nu_1,\ldots,\nu_n$

ν_{i} \to ν_{i} + λ n

$\nu_i\rightarrow\nu_i+\lambda n$

ν_{i} \to ν_{i} + λ n / ν_{i}

$\nu_i\rightarrow \nu_i + \lambda n/\nu_i$

ν_{i}

$\nu_i$

Залежно від вибору ядра, дві оцінки для можуть бути близькими або далекими одна від одної. Відстань у сенсі норми оператора буде Однак це все ще обмежено для даного $\alpha$

\begin{aligned} ‖ α_{RKHS} - α_{Ridge} ‖_{ℓ^{2}} & = ‖ A_{RKHS} Y - A_{Ridge} Y ‖_{ℓ^{2}} \\ \leq ‖ [D + λ n I]^{- 1} - [D + λ n D^{- 1}]^{- 1} ‖_{\infty} ‖ Y ‖_{ℓ^{2}} \\ \leq max_{i = 1, \dots, n} {| (ν_{i} + λ n)^{- 1} - (ν_{i} + λ n / ν_{i})^{- 1} |} ‖ Y ‖_{ℓ^{2}} \\ \leq max_{i = 1, \dots, n} {\frac{λ n | 1 - ν_{i} |}{(ν_{i} + λ n) (ν_{i}^{2} + λ n)}} ‖ Y ‖_{ℓ^{2}} \end{aligned}

$\begin{align} \|{\alpha_\text{RKHS}-\alpha_\text{Ridge}}\|_{\ell^2} &= \|{ A_\text{RKHS}Y-A_\text{Ridge}Y }\|_{\ell^2}\\ &\le \|[D+\lambda nI]^{-1}-[D+\lambda n D^{-1}]^{-1}\|_\infty\|Y\|_{\ell^2}\\ &\le \max_{i=1,\ldots,n}\left\{| (\nu_i+\lambda n)^{-1} - (\nu_i+\lambda n/\nu_i)^{-1} |\right\}\|Y\|_{\ell^2}\\ &\le \max_{i=1,\ldots,n}\left\{ \frac{\lambda n|1-\nu_i|}{(\nu_i+\lambda n)(\nu_i^2+\lambda n)} \right\}\|Y\|_{\ell^2}\\ \end{align}$

Y

$Y$ , тож ваші два оцінки не можуть бути довільно далеко один від одного. Отже, якщо ваше ядро близьке до ідентичності, то, швидше за все, буде мало різниці в підходах. Якщо ваші ядра сильно відрізняються, два підходи все одно можуть призвести до подібних результатів.

На практиці важко однозначно сказати, чи є один кращим, ніж інший для даної ситуації. Оскільки ми мінімізуємо по відношенню до квадратичної помилки при представленні даних з точки зору функції ядра, ми ефективно вибираємо кращу регресійну криву з відповідного простору функцій Гільберта. Отже, покарання щодо внутрішнього продукту RKHS, здається, є природним способом для продовження.

— Адам Б Кашлак
джерело

Чи є у вас посилання на це?

— rnoodle