Ефективність регресії керневого хребта

Регресія хребта може бути виражена як де - передбачувана мітка , в визначити матрицю, об'єкт , який ми намагаємося знайти мітку, і матрицю об'єктів таким, що:

\hat{y} = (X^{'} X + a I_{d})^{- 1} X x

$\hat{y} = (\mathbf{X'X} + a\mathbf{I}_d)^{-1}\mathbf{X}x$

\hat{y}

$\hat{y}$

I_{d}

$\mathbf{I}_d$

d \times d

$d \times d$

x

$\mathbf{x}$

X

$\mathbf{X}$

n \times d

$n \times d$

n

$n$

x_{i} = (x_{i, 1}, . . ., x_{i, d}) \in R^{d}

$\mathbf{x}_i = (x_{i,1}, ..., x_{i,d})\in \mathbb{R}^d$

X = (\begin{matrix} x_{1, 1} & x_{1, 2} & \dots & x_{1, d} \\ x_{2, 1} & x_{2, 2} & \dots & x_{2, d} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ x_{n, 1} & x_{1, 2} & \dots & x_{n, d} \end{matrix})

$\mathbf{X} = \begin{pmatrix} x_{1,1} & x_{1,2} & \ldots & x_{1,d}\\ x_{2,1} & x_{2,2} & \ldots & x_{2,d}\\ \vdots & \vdots & \ddots & \vdots\\ x_{n,1} & x_{1,2} &\ldots & x_{n,d} \end{pmatrix}$

Ми можемо це ядро наступним чином:

\hat{y} = (K + a I_{d})^{- 1} k

$\hat{y} = (\mathbf{\mathcal{K}} + a\mathbf{I}_d)^{-1} \mathbf{k}$

де $\mathbf{\mathcal{K}}$ - матриця $n \times n$ ядер функцій $K$

К = (\begin{matrix} К (х_{1}, х_{1}) & К (х_{1}, х_{2}) & \dots & К (х_{1}, х_{н}) \\ К (х_{2}, х_{1}) & К (х_{2}, х_{2}) & \dots & К (х_{2}, х_{н}) \\ ⋮ & ⋮ & ⋱ & ⋮ \\ К (х_{н}, х_{1}) & К (х_{н}, х_{2}) & \dots & К (х_{н}, х_{н}) \end{matrix})

$\mathcal{K} = \begin{pmatrix} K(\mathbf{x}_1,\mathbf{x}_1) & K(\mathbf{x}_1,\mathbf{x}_2) & \ldots & K(\mathbf{x}_1,\mathbf{x}_n)\\ K(\mathbf{x}_2,\mathbf{x}_1) & K(\mathbf{x}_2,\mathbf{x}_2) & \ldots & K(\mathbf{x}_2,\mathbf{x}_n)\\ \vdots & \vdots & \ddots & \vdots\\ K(\mathbf{x}_n,\mathbf{x}_1) & K(\mathbf{x}_n,\mathbf{x}_2) &\ldots & K(\mathbf{x}_n,\mathbf{x}_n) \end{pmatrix}$

і вектор - стовпець функцій ядра $\mathbf{k}$ $n \times 1$ $K$

к = (\begin{matrix} К (х_{1}, х) \\ К (х_{2}, х) \\ ⋮ \\ К (х_{н}, х) \end{matrix})

$\mathbf{k} = \begin{pmatrix} K(\mathbf{x}_1,\mathbf{x})\\ K(\mathbf{x}_2,\mathbf{x}) \\ \vdots \\ K(\mathbf{x}_n,\mathbf{x}) \end{pmatrix}$

Запитання:

(a) якщо в об'єктах більше ніж розмірів, чи є сенс не використовувати ядра? Наприклад, нехай буде матрицею тоді буде і ми перетворимо матрицю замість матриця нам доведеться інвертувати, якби ми використовували ядра. Чи означає це, що якщо ми не повинні використовувати ядра? $\mathbf{x}_i$ $\mathbf{X}$ $50 \times 3$ $\mathbf{X}'\mathbf{X}$ $3 \times 3$ $3 \times 3$ $50 \times 50$ $d \leq n$

(b) чи слід використовувати найпростіше можливе ядро? Схоже, ядра в регресії хребта використовуються для заперечення впливу розмірності і не для використання певних властивостей простору функцій (на відміну від підтримуючих векторних машин). Хоча ядра можуть змінювати відстані між об'єктами, чи є якісь популярні ядра часто використовувані в регресії хребта?

(С) , що є тимчасової складністю коника регресії і / або ядер коника регресії? $O$

regression ridge-regression kernel-trick

— Спіраль
джерело

"ефективність" має інше значення в статистиці. Ви мали на увазі «складність обчислень»? (у назві)

— Спогад

Я мав на увазі "алгоритмічну ефективність". Хоча це правда, що мої запитання суттєво зводять це до «обчислювальної складності».

— Гелікс

(a) Метою використання ядра є вирішення проблеми нелінійної регресії в цьому випадку. Хороше ядро дозволить вам вирішити проблеми в можливо нескінченномірному просторі функцій. Але використовувати лінійне ядро та виконувати регресію хребта ядра у подвійному просторі - це те саме, що вирішити задачу в первинному просторі тобто, це не приносить жодної переваги (це набагато повільніше, оскільки кількість вибірки зростає, як ви спостерігали). $K(\mathbf{x,y}) = \mathbf{x}^\top \mathbf{y}$

(b) Одним з найпопулярніших варіантів є квадратне експоненціальне ядро який є універсальним (див. Посилання нижче). Ядер існує багато, і кожне з них призведе до внутрішнього продукту (і, отже, метрики) до вашого простору функцій. $K(x,y) = \exp(-\frac{\tau}{2} ||\mathbf{x}-\mathbf{y}||^2)$

(c) Пряма реалізація вимагає розв’язання лінійного рівняння розміру , тому це . Існує багато швидших методів наближення, таких як наближення Ністрьома. Це область активних досліджень. $n$ $O(n^3)$

Список літератури:

Бхарат Шріпербумудур, Кенджі Фукумізу та Герт Ланкрієт. Про співвідношення універсальності, характерних ядер та вбудовування заходів RKHS. Journal of Machine Learning Research, 9: 773–780, 2010.
Бернгард Шлькопф, Олександр Дж. Смола. Навчання за допомогою ядер: Підтримка векторних машин, регуляризація, оптимізація та після 2002 року

— Спогад
джерело