36

В чому полягає інтуїція того факту, що SVM з гауссовим ядром має кінцевий розмірний простір функцій?

svm feature-selection kernel-trick

1

Я не дуже розумію питання. Ви хочете пояснити, чому відповідний простір функцій є нескінченним розміром або інтерпретація того, що означає результуюча гіперплан?

— Marc Claesen

1

Я б не проти слухати обох!

— user36162

5

Я думаю, що це цікаве питання (+1)

39

Ця відповідь пояснює наступне:

Чому ідеальне розділення завжди можливо з чіткими точками та ядром Гаусса (достатньо малої пропускної здатності)
Як цей поділ може бути інтерпретований як лінійний, але лише в абстрактному просторі, який відрізняється від простору, де живуть дані
Як "знайдено" відображення з простору даних у простір. Спойлер: SVM його не знайдено, воно неявно визначається вибраним вами ядром.
Чому простір функцій є нескінченним.

1. Досягнення ідеальної розлуки

Ідеальне розділення завжди можливо з ядром Гаусса (за умови, що два пункти у різних класів ніколи не є абсолютно однаковими) через властивості локалізації ядра, які призводять до довільно гнучкої межі рішення. Для досить невеликої пропускної здатності ядра межа рішення буде виглядати так, що ви просто намалювали невеликі кола навколо точок, коли вони потрібні для розділення позитивних та негативних прикладів:

(Кредит: онлайн-курс машинного навчання Ендрю Нг ).

Отже, чому це відбувається з математичної точки зору?

Розглянемо стандартне налаштування: у вас є ядра Гаусса і навчальні дані , де значення . Ми хочемо вивчити функцію класифікатора $K(\mathbf{x},\mathbf{z}) = \exp(-||\mathbf{x}-\mathbf{z}||^2 / \sigma^2)$ $(\mathbf{x}^{(1)},y^{(1)}), (\mathbf{x}^{(2)},y^{(2)}), \ldots, (\mathbf{x}^{(n)},y^{(n)})$ $y^{(i)}$ $\pm 1$

\hat{y} (x) = \sum_{i} w_{i} y^{(i)} K (x^{(i)}, x)

$\hat{y}(\mathbf{x}) = \sum_i w_i y^{(i)} K(\mathbf{x}^{(i)},\mathbf{x})$

Тепер, як ми коли-небудь призначимо ваги ? Чи потрібні нам нескінченні розмірні простори та алгоритм квадратичного програмування? Ні, тому що я просто хочу показати, що я можу відмінно розділити бали. Тож я роблю в мільярд разів менше, ніж найменше розділенняміж будь-якими двома прикладами навчання, і я просто встановив . Це означає, що всі навчальні бали - це мільярд сигм, наскільки це стосується ядра, і кожна точка повністю контролює знак у своєму районі. Формально у нас є $w_i$ $\sigma$ $||\mathbf{x}^{(i)} - \mathbf{x}^{(j)}||$ $w_i = 1$ $\hat{y}$

\hat{y} (x^{(k)}) = \sum_{i = 1}^{n} y^{(k)} K (x^{(i)}, x^{(k)}) = y^{(k)} K (x^{(k)}, x^{(k)}) + \sum_{i \neq k} y^{(i)} K (x^{(i)}, x^{(k)}) = y^{(k)} + ϵ

$\hat{y}(\mathbf{x}^{(k)}) = \sum_{i=1}^n y^{(k)} K(\mathbf{x}^{(i)},\mathbf{x}^{(k)}) = y^{(k)} K(\mathbf{x}^{(k)},\mathbf{x}^{(k)}) + \sum_{i \neq k} y^{(i)} K(\mathbf{x}^{(i)},\mathbf{x}^{(k)}) = y^{(k)} + \epsilon$

де - якесь довільно крихітне значення. Ми знаємо, що крихітний, тому що знаходиться на мільярд сигм від будь-якої іншої точки, тому для всіх ми маємо $\epsilon$ $\epsilon$ $\mathbf{x}^{(k)}$ $i \neq k$

K (x^{(i)}, x^{(k)}) = \exp (- | | x^{(i)} - x^{(k)} | |^{2} / σ^{2}) \approx 0.

$K(\mathbf{x}^{(i)},\mathbf{x}^{(k)}) = \exp(-||\mathbf{x}^{(i)} - \mathbf{x}^{(k)}||^2 / \sigma^2) \approx 0.$

Оскільки настільки малий, напевно має такий самий знак, як , і класифікатор досягає ідеальної точності на даних тренувань. $\epsilon$ $\hat{y}(\mathbf{x}^{(k)})$ $y^{(k)}$

2. Навчання ядра SVM як лінійне розділення

Той факт, що це можна інтерпретувати як "ідеальне лінійне розділення у нескінченному просторовому просторі ознак", походить від хитрості ядра, яка дозволяє інтерпретувати ядро як внутрішній продукт у (потенційно нескінченномірному) просторі функцій:

K (x^{(i)}, x^{(j)}) = ⟨ Φ (x^{(i)}), Φ (x^{(j)}) ⟩

$K(\mathbf{x}^{(i)},\mathbf{x}^{(j)}) = \langle\Phi(\mathbf{x}^{(i)}),\Phi(\mathbf{x}^{(j)})\rangle$

де - відображення з простору даних у простір функцій. З цього випливає, що функція як лінійна функція в просторі функцій: $\Phi(\mathbf{x})$ $\hat{y}(\mathbf{x})$

\hat{y} (x) = \sum_{i} w_{i} y^{(i)} ⟨ Φ (x^{(i)}), Φ (x) ⟩ = L (Φ (x))

$\hat{y}(\mathbf{x}) = \sum_i w_i y^{(i)} \langle\Phi(\mathbf{x}^{(i)}),\Phi(\mathbf{x})\rangle = L(\Phi(\mathbf{x}))$

де лінійна функція визначена у векторах простору функцій як $L(\mathbf{v})$ $\mathbf{v}$

L (v) = \sum_{i} w_{i} y^{(i)} ⟨ Φ (x^{(i)}), v ⟩

$L(\mathbf{v}) = \sum_i w_i y^{(i)} \langle\Phi(\mathbf{x}^{(i)}),\mathbf{v}\rangle$

Ця функція лінійна в тому що це лише лінійна комбінація внутрішніх добутків із фіксованими векторами. У просторі функцій межами рішення є просто , набір рівня лінійної функції. Це саме визначення гіперплану в просторі функцій. $\mathbf{v}$ $\hat{y}(\mathbf{x}) = 0$ $L(\mathbf{v}) = 0$

3. Розуміння простору відображення та функцій

Примітка. У цьому розділі позначенняпосилається на довільний набір збалів, а не на дані тренувань. Це чиста математика; дані тренінгу взагалі не включаються до цього розділу! $\mathbf{x}^{(i)}$ $n$

Методи ядра ніколи фактично не «знаходять» або «обчислюють» простір функцій або відображення чітко. Методи навчання ядра, такі як SVM, не потребують їх роботи; вони потрібні тільки функції ядра . $\Phi$ $K$

Однак, можна записати формулу для . Простір функцій, на який відображається є абстрактним (і потенційно нескінченномірним), але по суті, для відображення просто використовується ядро, щоб зробити просту інженерію функцій. Що стосується кінцевого результату, модель, в якій ви закінчуєте навчання, використовуючи ядра, нічим не відрізняється від традиційної інженерії функцій, яка широко застосовується в лінійній регресії та моделюванні GLM, як прийняття журналу позитивної змінної предиктора перед подачею його у формулу регресії. Математика здебільшого лише там, щоб гарантувати, що ядро добре грає з алгоритмом SVM, який має свої оцінені переваги вкрай і масштабування для великих наборів даних. $\Phi$ $\Phi$

Якщо ви все ще зацікавлені, ось як це працює. По суті, ми беремо особу, яку ми хочемо зберегти, та побудуйте простір і внутрішній продукт таким чином, щоб він міг визначатись. Для цього ми визначаємо абстрактний векторний простір де кожен вектор є функцією від простору, в якому живуть дані, , до реальних чисел . Вектор в - це функція, утворена з кінцевої лінійної комбінації зрізів ядра: Зручно писати більш компактно, як $\langle \Phi(\mathbf{x}), \Phi(\mathbf{y}) \rangle = K(\mathbf{x},\mathbf{y})$ $V$ $\mathcal{X}$ $\mathbb{R}$ $f$ $V$

f (x) = \sum_{i = 1}^{n} α_{i} K (x^{(i)}, x)

$f(\mathbf{x}) = \sum_{i=1}^n \alpha_i K(\mathbf{x}^{(i)},\mathbf{x})$

f

$f$

f = \sum_{i = 1}^{n} α_{i} K_{x^{(i)}}

$f = \sum_{i=1}^n \alpha_i K_{\mathbf{x}^{(i)}}$ де - це функція, що дає "фрагмент" ядра в .

K_{x} (y) = K (x, y)

$K_\mathbf{x}(\mathbf{y}) = K(\mathbf{x},\mathbf{y})$

x

$\mathbf{x}$

Внутрішній продукт у просторі - це не звичайний крапковий продукт, а абстрактний внутрішній продукт на основі ядра:

⟨ \sum_{i = 1}^{n} α_{i} K_{x^{(i)}}, \sum_{j = 1}^{n} β_{j} K_{x^{(j)}} ⟩ = \sum_{i, j} α_{i} β_{j} K (x^{(i)}, x^{(j)})

$\langle \sum_{i=1}^n \alpha_i K_{\mathbf{x}^{(i)}}, \sum_{j=1}^n \beta_j K_{\mathbf{x}^{(j)}} \rangle = \sum_{i,j} \alpha_i \beta_j K(\mathbf{x}^{(i)},\mathbf{x}^{(j)})$

З таким простором, визначеним таким чином, - це відображення , переносячи кожну точку до "фрагмента ядра" в цій точці: $\Phi$ $\mathcal{X} \rightarrow V$ $\mathbf{x}$

Φ (x) = K_{x}, where K_{x} (y) = K (x, y) .

$\Phi(\mathbf{x}) = K_\mathbf{x}, \quad \text{where} \quad K_\mathbf{x}(\mathbf{y}) = K(\mathbf{x},\mathbf{y}).$

Ви можете довести, що - це внутрішній простір продукту, коли - ядро, яке є позитивним. Докладніше див. У цьому документі. (Kudos to f copenpens for show it this!) $V$ $K$

4. Чому простір функції нескінченномірний?

Ця відповідь дає приємне пояснення лінійної алгебри, але ось геометрична перспектива з інтуїцією та доказом.

Інтуїція

Для будь-якої фіксованої точки нас є функція зрізу ядра . Графік - це просто гауссова шишка, зосереджена в . Тепер, якби простір функцій був лише кінцевим розміром, це означало б, що ми можемо взяти кінцевий набір ударів у фіксованому наборі точок і сформувати будь-який гауссовий удар в будь-якому іншому місці. Але очевидно, що ми не можемо це зробити; ви не можете зробити нову шишку зі старих шишок, тому що нова шишка може бути дуже далекою від старої. Отже, незалежно від того, скільки функціональних векторів (ударів) у нас є, ми завжди можемо додавати нові удари, а в просторі функцій - це нові незалежні вектори. Тому простір функцій не може бути кінцевим розміром; це повинно бути нескінченним. $\mathbf{z}$ $K_\mathbf{z}(\mathbf{x}) = K(\mathbf{z},\mathbf{x})$ $K_\mathbf{z}$ $\mathbf{z}$

Доказ

Ми використовуємо індукцію. Припустимо, у вас є довільний набір точок такий, що вектори лінійно незалежні в просторі функцій. Тепер знайдіть точку відмінну від цих точок, насправді мільярд сигм від усіх них. Ми стверджуємо, що лінійно незалежний від перших функціональних векторів . $\mathbf{x}^{(1)}, \mathbf{x}^{(2)}, \ldots, \mathbf{x}^{(n)}$ $\Phi(\mathbf{x}^{(i)})$ $\mathbf{x}^{(n+1)}$ $n$ $\Phi(\mathbf{x}^{(n+1)})$ $n$ $\Phi(\mathbf{x}^{(i)})$

Доведення протиріччям. Припустимо, навпаки, що

Φ (x^{(n + 1)}) = \sum_{i = 1}^{n} α_{i} Φ (x^{(i)})

$\Phi(\mathbf{x}^{(n+1)}) = \sum_{i=1}^n \alpha_i \Phi(\mathbf{x}^{(i)})$

Тепер візьміть внутрішній продукт з обох сторін з довільним . По ідентичності отримуємо $\mathbf{x}$ $\langle \Phi(\mathbf{z}), \Phi(\mathbf{x}) \rangle = K(\mathbf{z},\mathbf{x})$

K (x^{(n + 1)}, x) = \sum_{i = 1}^{n} α_{i} K (x^{(i)}, x)

$K(\mathbf{x}^{(n+1)},\mathbf{x}) = \sum_{i=1}^n \alpha_i K(\mathbf{x}^{(i)},\mathbf{x})$

Тут є вільною змінною, тому це рівняння є тотожністю, що свідчить про те, що дві функції однакові. Зокрема, йдеться про те, що Гаусс із центром у може бути представлений як лінійна комбінація гауссів у інших точках . Геометрично очевидно, що не можна створити гауссову шишку, зосереджену в одній точці, від кінцевої комбінації гауссових шишок, зосереджених в інших точках, особливо коли всі ці інші гаусові шишки розташовані в мільярді сигм. Отже, наше припущення про лінійну залежність призвело до суперечності, як ми маємо на меті показати. $\mathbf{x}$ $\mathbf{x}^{(n+1)}$ $\mathbf{x}^{(i)}$

— Пол
джерело

6

Ідеальне розлучення неможливо. Контрприклад: (0,0, ClassA), (0,0, ClassB). Удачі, розділивши цей набір даних!

— Аноні-Мус

4

Це ... технічно правильно, найкращий вид правильний! Майте нагороду. Я додам записку в дописі.

— Пол

3

(Думаю, ваша думка має сенс, якщо вам потрібна мінімальна відстань між зразками різних класів. Можливо, варто зазначити, що в цьому сценарії SVM стає класифікатором найближчого сусіда)

— Anonymous-Mousse

1

Я розглядаю лише випадок обмеженого навчального набору, тому завжди існує мінімальна відстань між балами, як тільки нам надають навчальний набір із яти різних точок, з якими потрібно працювати.

n

$n$

— Пол

@Paul Щодо вашого розділу 2, у мене є питання. Нехай є представником у нашій RKHS для точки навчання а для довільної нової точки так що , так що функція для деякого . Для мене це схоже на те, що версія простору функцій знаходиться в просторі стовпців для лінійної регресії і саме звідси походить лінійність. Чи відповідає цей опис точним? Я все ще дуже вивчаю цей RKHS матеріал.

k_{i}

$k_i$

x^{(i)}

$x^{(i)}$

k_{x}

$k_x$

x

$x$

\hat{y} (x) = \sum_{i} w_{i} y^{(i)} ⟨ k_{i}, k_{x} ⟩ = \sum_{i} w_{i} y^{(i)} k_{i} (x)

$\hat y(x) = \sum_i w_i y^{(i)} \langle k_i, k_x \rangle = \sum_i w_i y^{(i)} k_i(x)$

\hat{y} = \sum_{i} z_{i} k_{i}

$\hat y = \sum_i z_i k_i$

z_{i} \in R

$z_i \in \mathbb R$

\hat{y}

$\hat y$

X

$X$

— jld

12

Ядро матриці ядра Гаусса завжди має повний ранг для відмінних . Це означає, що щоразу, коли ви додаєте новий приклад, ранг збільшується на . Найпростіше це побачити, якщо встановити дуже мало. Тоді матриця ядра майже діагональна. $\mathbf x_1,...,\mathbf x_m$ $1$ $\sigma$

Те, що ранг завжди збільшується на один, означає, що всі проекції у просторі характеристик лінійно незалежні (не ортогональні, а незалежні). Тому кожен приклад додає новий вимір до діапазону проекцій . Оскільки ви можете додавати незліченно нескінченно багато прикладів, простір функцій повинен мати нескінченний розмір. Цікаво, що всі проекції вхідного простору в простір зображень лежать на кулі, оскільки . Тим не менш, геометрія сфери плоска. Більше про це можна прочитати в $\Phi(\mathbf x)$ $\Phi(\mathbf x_1),...,\Phi(\mathbf x_m)$ $||\Phi(\mathbf x)||_{\mathcal H}^²=k(\mathbf x,\mathbf x)=1$

Burges, CJC (1999). Геометрія та інваріантність методів на основі ядра. У B. Schölkopf, CJC Burges та AJ Smola (ред.) Досягнення в галузі методів ядра підтримують векторне навчання (с. 89–116). MIT Press.

— фея
джерело

Я все ще не розумію цього, але ви все-таки заробили нагороду :)

— stmax

Ти маєш на увазі, ти не розумієш, чому геометрія плоска або чому вона нескінченна? Дякую за підсумки.

— fabee

Якщо у мене є 100 прикладів, чи є мій простір функцій 100-мірним або вже нескінченним? Чому я можу додавати "незліченно" нескінченно багато прикладів? Хіба це не рахується нескінченність? Чому тут має значення чисельний / незліченний? Я навіть навіть не намагався думати про "плоску сферу": D Дякую за ваші пояснення!

— stmax

5

Я сподіваюся, ви мені повірите, що кожен новий приклад лінійно незалежний від усіх раніше (крім одного і того ж ). У ви не можете цього зробити: Кожна точка, що перевищує повинна лінійно залежати від інших. Для гауссових РКХС, якщо у вас є 100 різних прикладів, вони охоплюють 100-мірний підпростір нескінченного простору. Отже, проміжок є кінцевим розміром, але простір функцій, в якому вони живуть, є нескінченним. Нескінченність незліченна, тому що кожна нова точка в - це новий вимір, і в є незліченно багато точок .

x

$x$

R^{n}

$\mathbb R^n$

n

$n$

R^{n}

$\mathbb R^n$

R^{n}

$\mathbb R^n$

— fabee

@fabee: Я спробував це по-іншому, ти, здається, знаєш багато про це, чи можеш ти поглянути на мою відповідь, чи я зрозумів це більш-менш «правильно»?

5

Для передісторії та позначень я посилаюся на відповідь Як обчислити межу рішення з векторів підтримки? .

Таким чином, особливості в просторі "оригінал" - це вектори , двійковий результат а множники Лагранжа - . $x_i$ $y_i \in \{-1, +1\}$ $\alpha_i$

Відомо, що ядро можна записати як (' ' являє собою внутрішній добуток.) Де - (неявна і невідома) перетворення в новий простір. $K(x,y)=\Phi(x) \cdot \Phi(y)$ $\cdot$ $\Phi$

Я спробую дати деяке «інтуїтивне» пояснення того, як виглядає ця , тому ця відповідь не є офіційним доказом, вона просто хоче дати певне відчуття, як я думаю, що це працює. Не соромтеся виправити мене, якщо я помиляюся. Підставою для мого пояснення є розділ 2.2.1 цього PDF $\Phi$

Я повинен "перетворити" простір моїх функцій (так що мій ) в якийсь "новий" простір, в якому буде вирішено лінійне розділення. $x_i$

Для кожного спостереження я визначаю функції , тому у мене є функція для кожного елемента мого навчального зразка. Ці функції охоплюють векторний простір. Векторний простір, що охоплюється , відзначте його . ( - розмір зразка для навчання). $x_i$ $\phi_i(x)=K(x_i,x)$ $\phi_i$ $\phi_i$ $\phi_i$ $V=span(\phi_{i, i=1,2,\dots N})$ $N$

Я спробую стверджувати, що цей векторний простір - це векторний простір, в якому можливе лінійне розділення. $V$ За визначенням прольоту кожен вектор у векторному просторі може бути записаний як лінійна комбінація , тобто: , де - дійсні числа. Отже, насправді $V$ $\phi_i$ $\sum_{i=1}^N \gamma_i \phi_i$ $\gamma_i$ $V=\{v=\sum_{i=1}^N \gamma_i \phi_i|(\gamma_1,\gamma_2,\dots\gamma_N) \in \mathbb{R}^N \}$

Слід зазначити , що є координатами вектора в векторному просторі . $(\gamma_1,\gamma_2,\dots\gamma_N)$ $v$ $V$

$N$ - розмір навчального зразка, і тому розмірність векторного простору може до , залежно від того, чи лінійно незалежні. Оскільки (див. Вище, ми визначили таким чином), це означає, що розмірність залежить від використовуваного ядра і може підходити до розміру навчальної вибірки. $V$ $N$ $\phi_i$ $\phi_i(x)=K(x_i,x)$ $\phi$ $V$

Якщо ядро 'досить складне', то буде незалежним, і тоді розмірність буде , розмір навчальної вибірки. $\phi_i(x)=K(x_i, x)$ $V$ $N$

Перетворення, яке відображає мій вихідний простір функцій у , визначається як $V$

$\Phi: x_i \to \phi_i(x)=K(x_i, x)$ .

Ця карта відображає мій вихідний простір зображень на векторний простір, який може мати розмірність, що відповідає розміру мого навчального зразка. $\Phi$ Отже відображає кожне спостереження в моїй навчальній вибірці у векторному просторі, де функціонують вектори. Вектор з мого навчального зразка 'відображається' на вектор у , а саме вектор з координатами, рівними нулю, крім - координати дорівнює 1. $\Phi$ $x_i$ $V$ $\phi_i$ $i$

Очевидно, що це перетворення (a) залежить від ядра, (b) залежить від значень у навчальному зразку, і (c) може залежно від мого ядра мати розмірність, що відповідає розміру мого навчального зразка та ( г) вектори виглядають як , де - дійсні числа. $x_i$ $V$ $\sum_{i=1}^N \gamma_i \phi_i$ $\gamma_i$

Дивлячись на функцію у розділі Як обчислити межу рішення з векторів підтримки? видно, що . Межа рішення, знайдена SVM, є . $f(x)$ $f(x)=\sum_i y_i \alpha_i \phi_i(x)+b$ $f(x)=0$

Іншими словами, - лінійна комбінація а - лінійна роздільна гіперплан у просторі : це особливий вибір а саме ! $f(x)$ $\phi_i$ $f(x)=0$ $V$ $\gamma_i$ $\gamma_i=\alpha_i y_i$

У відомі з наших спостережень є множниками Лагранжа , що SVM знайшла. Іншими словами, SVM виявляє, використовуючи ядро і вирішуючи задачу квадратичного програмування, лінійне розділення у просторі. $y_i$ $\alpha_i$ $V$

Це моє інтуїтивне розуміння того, як «фокус ядра» дозволяє «неявно» перетворити оригінальний простір функцій у новий простір функцій з іншим виміром. Цей параметр залежить від ядра, яке ви використовуєте, і для ядра RBF цей параметр може перевищувати розмір навчальної вибірки. Оскільки навчальні зразки можуть мати будь-який розмір, це може піднятися до "нескінченності" . Очевидно, що в дуже великих розмірних просторах ризик переобладнання збільшиться. $V$

Отже, ядра - це техніка, яка дозволяє SVM трансформувати ваш простір функцій. Дивіться також, Що робить ядро Гаусса таким магічним для PCA, а також загалом?

— Громада
джерело

+1 це суцільно. Я переклав цей матеріал у власному стилі експозиції та додав його до своєї відповіді.

— Пол

5

На жаль, пояснення fcop є досить невірним. Перш за все він говорить: "Відомо, що ядро можна записати як ... де ... - це (неявна і невідома) трансформація в новий простір функцій". НЕ невідомо. Насправді це простір, на який відображені функції, і це простір, який може бути нескінченним розміром, як у випадку RBF. Все, що ядро робить, це взяти внутрішній добуток цього трансформованого векторного ознаки з перетвореним вектором ознак тренінгового прикладу і застосувати деяку функцію до результату. Таким чином, це неявно представляє цей вектор більш високого розміру. Подумайте, наприклад, написати (x + y) ^ 2 замість x ^ 2 + 2xy + y ^ 2. Тепер подумайте, який нескінченний ряд представлений неявно експоненціальною функцією ... там у вас є нескінченний простір функцій.

Правильний спосіб думати про SVM - полягає в тому, що ви відображаєте свої функції в можливо нескінченний розмірний простір характеристик, який, мабуть, неявно представлений у ще одному кінцевому розмірі простору "Ядро", розмір якого може бути таким же, як розмір навчального набору.

— сальвадор
джерело

Як SVM може «знайти» нескінченний простір, де завжди можливий лінійний поділ?

1. Досягнення ідеальної розлуки

2. Навчання ядра SVM як лінійне розділення

3. Розуміння простору відображення та функцій

4. Чому простір функції нескінченномірний?

Інтуїція

Доказ