Gaussian RBF vs. Gaussian kernel

Яка різниця між виконанням лінійної регресії з функцією радіального основи Гаусса (RBF) і лінійною регресією з ядром Гаусса?

regression normal-distribution kernel-trick

— користувач35965
джерело

Ласкаво просимо на сайт, @ user35965. Будь ласка, пропишіть свої абревіатури. Під RBF ви маєте на увазі функцію радіальної основи ?

— gung - Відновіть Моніку

Так, це точно, що я мав на увазі. Зазначено належним чином для подальшого використання.

— user35965

Єдина реальна різниця полягає в регуляризації, яке застосовується. Регульована мережа RBF зазвичай використовує штраф на основі норми у вазі. Для версії ядра пені, як правило, стосуються норми квадрата ваг лінійної моделі, неявно побудованої в просторі ознак, індукованому ядром. Основна практична відмінність цього полягає в тому, що штраф за мережу RBF залежить від центрів мережі RBF (а отже, і від вибірки використовуваних даних), тоді як для ядра RBF індукований простір функцій однаковий незалежно від вибірки дані, тому штраф - це штраф за функцією моделі, а не за її параметризацією .

Іншими словами, для обох моделей у нас є

$f(\vec{x}') = \sum_{i=1}^\ell \alpha_i \mathcal{K}(\vec{x}_i, \vec{x}')$

Для підходу до мережі RBF критерієм навчання є

$L = \sum_{i=1}^\ell (y_i - f(\vec{x}_i))^2 + \lambda \|\alpha\|^2$

Для методу ядра RBF маємо, що , і . Це означає, що штраф у квадратній нормі на вагах моделі в індукованому просторі функцій можна записати через подвійні параметри, як $\mathcal{K}(\vec{x},\vec{x}') = \phi(\vec{x})\cdot\phi(\vec{x}')$ $\vec{w} = \sum_{i=1}^\ell \alpha_i\phi(\vec{x}_i)$ $\vec{w}$ $\vec{\alpha}$

$\|\vec{w}\|^2 = \vec{\alpha}^T\matrix{K}\vec{\alpha},$

де - це матриця парних оцінок ядра для всіх моделей тренувань. Критерій навчання є тоді $\matrix{K}$

$L = \sum_{i=1}^\ell (y_i - f(\vec{x}_i))^2 + \lambda \vec{\alpha}^T\matrix{K}\vec{\alpha}$ .

Єдина відмінність між двома моделями - у терміні регуляризації. $\matrix{K}$

Основна теоретична перевага підходу ядра полягає в тому, що він дозволяє інтерпретувати нелінійну модель як лінійну модель після фіксованого нелінійного перетворення, яке не залежить від вибірки даних. Таким чином, будь-яка статистична теорія навчання, що існує для лінійних моделей, автоматично переходить у нелінійну версію. Однак, все це виходить з ладу, як тільки ви спробуєте і налаштуєте параметри ядра, і тоді ми повертаємося майже до тієї ж точки теоретично, як і в нейронних мережах RBF (і MLP). Тож теоретична перевага, можливо, не така велика, як нам би хотілося.

Чи може це змінити ефективність? Напевно, не багато. Теореми "без вільного обіду" дозволяють припустити, що не існує апріорної переваги будь-якого алгоритму над усіма іншими, і різниця в регуляризації є досить тонкою, тому, якщо ви сумніваєтеся, спробуйте обидва та виберіть найкраще відповідно до, наприклад, перехресної перевірки.

— Дікран Марсупіал
джерело

@CagdasOzgenc Так, для RBF регулятором є а не для машини ядра. Вони стануть більш схожими , як ширина базисної функції наближається до нуля, буде наближатися . Я думаю, що це по суті тому, що обчислює співвідношення між базовими функціями.

‖ \vec{α} ‖^{2} = {\vec{α}}^{T} \begin{matrix} I \end{matrix} \vec{α}

$\|\vec{\alpha}\|^2 = \vec{\alpha}^T\matrix{I}\vec{\alpha}$

{\vec{α}}^{T} \begin{matrix} K \end{matrix} \vec{α}

$\vec{\alpha}^T\matrix{K}\vec{\alpha}$

K

$K$

I

$I$

K

$K$

— Дікран Марсупіал

@CagdasOzgenc Те, як я на це дивлюсь, полягає в тому, що у регуляторі зважує штраф на різний для кожного базового вектора, а штраф залежить від вибору інших базових векторів. Ця вага залежить від їх співвідношення, тому якщо ви вибираєте інший зразок, ваги змінюються, щоб компенсувати. Інший спосіб подивитися на це - модель визначається у просторі функцій, визначеному , який не залежить від вибору базових векторів (за умови, що вони охоплюють простір, що містить дані).

K

$K$

ϕ (x)

$\phi(x)$

— Дікран Марсупіал

@CagdasOzgenc Звичайно, ми можемо перетворити простір базисних функцій шляхом власного розкладу і відновити регулятор стилів (справді це корисна хитрість в оптимізації параметра регуляризації - doi.org/10.1016/j.neunet.2007.05.005 ). Однак це перетворення виключає залежність вихідного вибору базисної функції. Щоб дві речі були рівними, знадобиться , що взагалі не відповідає дійсності (особливо це не стосується ядра RBF).

K

$K$

‖ {\vec{α}}^{'} ‖^{2}

$\|\vec{\alpha}'\|^2$

{\vec{α}}^{T} \begin{matrix} K \end{matrix} \vec{α} = μ {\vec{α}}^{T} \begin{matrix} I \end{matrix} \vec{α}

$\vec{\alpha}^T\matrix{K}\vec{\alpha} = \mu\vec{\alpha}^T\matrix{I}\vec{\alpha}$

— Дікран Марсупіал

Дякую. Я подумаю над цим, повернусь до вас. Наразі здається, я не на вашому рівні розуміння. Мені потрібно більше думати :).

— Cagdas Ozgenc

@CagdasOzgenc немає проблем, більшість стандартних текстів пояснюють це власними функціями функції ядра, через що мій мозок також болить! ; o)

— Дікран Марсупіал