Межі узагальнення на SVM

Мене цікавлять теоретичні результати щодо узагальнення здатності підтримуючих векторних машин, наприклад, межі щодо ймовірності помилки класифікації та розмірності Вапніка-Червоненкіса (ВК) цих машин. Однак, читаючи літературу, у мене склалося враження, що деякі подібні повторювані результати, як правило, незначно відрізняються від автора до автора, особливо щодо технічних умов, необхідних для певного виконання.

Далі я згадаю структуру проблеми SVM та стан 3 основних результатів узагальнення, які я періодично знаходив у тій чи іншій формі я даю 3 основні посилання протягом усієї експозиції. $-$

Налаштування проблеми :

Припустимо, у нас є вибірка даних незалежних і однаково розподілених (iid) пар де для всіх , і . Ми побудуємо підтримуючу векторну машину (SVM), яка максимізує мінімальний запас між роздільною гіперпланкою, визначеною , і і найближча точка серед , щоб розділити два класи, визначені та . Ми дозволяємо SVM допускати деякі помилки через м'який запас, вводячи слабкі змінні $(x_i,y_i)_{1\leq i\leq n}$ $i$ $x_i \in \mathbb{R}^p$ $y_i \in \{-1,1\}$ $m^*$ $\{x : w \cdot x + b = 0\}$ $w \in \mathbb{R}^p$ $b \in \mathbb{R}$ $x_1,\cdots,x_n$ $y = -1$ $y = 1$ $\xi_1,\cdots,\xi_n$ $-$ але для наочної простоти ми ігноруємо можливість ядер. Параметри рішення і отримують шляхом розв'язання наступної опуклої програми квадратичної оптимізації: $w^*$ $b^*$

\begin{aligned} min_{w, b, ξ_{1}, \dots, ξ_{n}} & \frac{1}{2} ‖ w ‖^{2} + C \sum_{i = 1}^{n} ξ_{i} \\ s.t. : & y_{i} (w \cdot x_{i} + b) \geq 1 - ξ_{i} & , \forall i \in {1, \dots, n} \\ ξ_{i} \geq 0 & , \forall i \in {1, \dots, n} \end{aligned}

$\begin{align} \min_{w, \, b, \, \xi_1, \, \cdots, \, \xi_n} \; & \; \frac{1}{2}\|w\|^2 + C\sum_{i=1}^n\xi_i \\ \text{s.t.} \; : \; & \; y_i(w\cdot x_i+b) \geq 1 - \xi_i \, & , \, \forall \, i \in \{1,\cdots,n\} \\ & \; \xi_i \geq 0\, & , \, \forall \, i \in \{1,\cdots,n\} \end{align}$

Нас цікавить можливість узагальнення цієї машини.

Розмір Вапник-Червоненкіс $VC$ :

Перший результат зумовлений (Vapnik, 2000), в якому він обмежує розмір ВК роздільної гіперплани, теорема 5.1. Нехай, ми маємо: $R = \max_{x_i} \|x_i\|$

V C \leq min ({(\frac{R}{m^{*}})}^{2}, p) + 1

$VC \leq \min \left( \left( \frac{R}{m^*}\right)^2, \, p\right) + 1$

Цей результат знову можна знайти в (Burges, 1998), теорема 6. Однак, здається, теорема Берджеса є більш обмежувальною, ніж той самий результат Вапніка, оскільки йому потрібно визначити спеціальну категорію класифікаторів, відому як класифікатори, стійкі до розриву до якої належить СВМ, констатувати теорему. $-$ $-$

Обмежує ймовірність помилок :

В (Вапник, 2000), теорема 5.2 на сторінці 139 дає таке обмеження на здатність узагальнення SVM:

E [P_{error}] \leq \frac{1}{n} E [min (p, n_{S V}, (R ‖ w ‖)^{2})]

$\mathbb{E}[P_{\text{error}}] \leq \frac{1}{n}\mathbb{E} \left[ \min\left(p,n_{SV},(R \, \|w\|)^2 \right) \right]$

де - кількість векторів підтримки SVM. Ці результати, здається, знову знайдемо в (Burges, 1998), рівняннях (86) та (93) відповідно. Але знову ж таки, здається, що Берджес відрізняється від Вапніка, оскільки він розділяє компоненти в межах мінімальної функції, наведеної вище, в різних теоремах, при різних умовах. $n_{SV}$

Інший результат, що з’являється в (Vapnik, 2000), с.133, такий. Припускаючи знову, що для всіх , і дозволяючи і , ми визначаємо дорівнює: $i$ $\|x_i\|^2 \leq R^2$ $h \equiv VC$ $\epsilon \in [0,1]$ $\zeta$

ζ = 4 \frac{h (ln \frac{2 n}{h} + 1) - ln \frac{ϵ}{4}}{n}

$\zeta = 4 \frac{h\left( \text{ln}\frac{2n}{h} + 1\right) - \text{ln}\frac{\epsilon}{4}}{n}$

Ми також визначаємо як кількість неправильно класифікованих прикладів навчання SVM. Тоді з ймовірністю ми можемо стверджувати, що ймовірність того, що тестовий приклад не буде відокремлено правильно гіперпланкою -margin тобто SVM з запасом має обмежену формулу : $n_{\text{error}}$ $1-\epsilon$ $m^*$ $-$ $m^*$ $-$

P_{error} \leq \frac{n_{error}}{n} + \frac{ζ}{2} (1 + \sqrt{1 + \frac{4 n_{error}}{n ζ}})

$P_{\text{error}} \leq \frac{n_{\text{error}}}{n} + \frac{\zeta}{2} \left( 1 + \sqrt{1+ \frac{4 \, n_{\text{error}}}{n \, \zeta}} \right)$

Однак у (Hastie, Tibshirani and Friedman, 2009), стр.438, виявлено дуже подібний результат:

{Error}_{Test} \leq ζ

$\text{Error}_{\text{Test}} \leq \zeta$

Висновок :

Мені здається, що між цими результатами існує певна ступінь конфліктності. З іншого боку, дві з цих посилань, хоч і є канонічними в літературі про SVM, починають бути трохи старішими (1998 та 2000 рр.), Особливо якщо врахувати, що дослідження алгоритму SVM розпочалися в середині дев'яностих.

Мої запитання:

Чи є ці результати і сьогодні чи справді вони підтверджені помилково?
Чи були виведені більш жорсткі межі з відносно слабкими умовами відтоді? Якщо так, то ким і де я можу їх знайти?
Нарешті, чи є довідковий матеріал, який синтезує основні результати узагальнення щодо SVM?

Список літератури :

Burges, JC (1998). "Навчальний посібник з векторних машин підтримки для розпізнавання візерунків", обмін даними та відкриття знань , 2: 121-167

Хасті, Т., Тібшірані, Р. і Фрідман, Дж. (2009). Елементи статистичного навчання , 2-е видання, Спрингер

Вапник, В. Н. (1998). Статистична теорія навчання , 1-е видання, John Wiley & Sons

Вапник, В. Н. (1999). "Огляд статистичної теорії навчання", операції IEEE в нейронних мережах , 10 (5): 988-999

Вапник, В. Н. (2000). Природа статистичної теорії навчання , 2-е видання, Спрінгер

machine-learning svm vc-dimension

— Даніель Олив
джерело

посилання, що підсумовує сучасні (станом на 2008 рік) межі ризику для SVM: "Підтримка векторних машин" (Ingo Steinwart, Andreas Christmann, Springer 2008) .

— зареєструватись

Я не знаю детально літератури, про яку ви посилаєтесь, але я думаю, що вичерпний підсумок меж узагальнення, який має бути оновлений, можна знайти у Boucheron et al. (2004) (Посилання: https://www.researchgate.net/profile/Olivier_Bousquet/publication/238718428_Advanced_Lectures_on_Machine_Learning_ML_Summer_Schools_2003_Canberra_Australia_February_2-14_2003_Tubingen_Germany_August_4-16_2003_Revised_Lectures/links/02e7e52c5870850311000000/Advanced-Lectures-on-Machine-Learning-ML-Summer-Schools-2003- Канберра-Австралія-лютий-2-14-2003-Тюбінген-Німеччина-серпень-4-16-2003-переглянуті-лекції.pdf # page = 176 )

Я буду накреслювати частину зв’язаного SVM у наступному, залишаючи деталі та доводити.

Перш ніж конкретно розглянути питання про зв’язаний SVM, ми повинні зрозуміти, чого намагаються досягти межі узагальнення.

Спочатку припустимо, що відома справжня ймовірність , тоді найкращим класифікатором буде класифікатор Байєса, тобто случаи $P(Y = +1| X = x)$

\begin{aligned} g * = {\begin{cases} + 1 i f P (Y = 1 | X = x) > 0.5 \\ - 1 o t h e r w i s e \end{cases} \end{aligned}

$\begin{align} g* = \begin{cases} + 1 \ \ if P(Y = 1| X = x) > 0.5 \\ -1 \ \ otherwise \end{cases} \end{align}$

Мета теорії статистичного навчання зараз - знайти різницю між класифікатором класу (наприклад, SVM) і класифікатор Bayes, тобто Зауважимо , що є очікувані втрати наведені дані і є найкращим можливим класифікатор в моделі класу . Термін називається помилкою оцінки і часто фокусом, оскільки його можна обмежити набагато простіше, ніж помилку апроксимації (інший доданок). Я також опущу помилку наближення тут. $C$

\begin{aligned} {\hat{g}}_{n} = a r g min_{g \in C} L_{n} (g) \end{aligned}

$\begin{align} \hat{g}_n = arg \min_{g \in C} L_n(g) \end{align}$

\begin{aligned} L ({\hat{g}}_{n}) - L (g *) = L ({\hat{g}}_{n}) - L (g_{c}^{*}) + L (g_{c}^{*}) - L (g *) . \end{aligned}

$\begin{align} L(\hat{g}_n) - L(g*) = L(\hat{g}_n) - L(g^{*}_c) + L(g^{*}_c) - L(g*). \end{align}$

L (g) = E l (g (X), Y)

$L(g) = \mathbb{E}l(g(X),Y)$

g_{c}^{*}

$g^{*}_c$

C

$C$

Z =: L (g *) - L ({\hat{g}}_{n})

$Z =: L(g*) - L(\hat{g}_n)$

Помилка оцінки може бути додатково розкладена за допомогою Тепер це можна обмежити двома кроками: $Z$

\begin{aligned} Z = Z - E Z + E Z . \end{aligned}

$\begin{align} Z = Z - \mathbb{E}Z + \mathbb{E}Z. \end{align}$

Пов'язуємо за допомогою нерівності МакДіарміда $Z - \mathbb{E}Z$
Пов’язаний зі складністю Радемахера $\mathbb{E}Z$ $R_n(C) = \mathbb{E}sup_{g \in C}|1/n \sum_{i=1}^{n} l(g(X_i),Y_i)|$

Використовуючи нерівність МакДіармідса, можна показати, що якщо функція втрати знаходиться в інтервалі не більше , крок перший приводить до межі де - рівень довіри. На другому кроці ми можемо показати, що Якщо у вас є дискретна функція втрат, тобто не-Lipschitz, наприклад 0-1 -витрата, вам знадобиться розмір VC для подальшого обмеження складності Rademacher. Однак для таких функцій L-lipchitz, як втрата шарніра, це може бути додатково обмежено де $B$

\begin{aligned} Z - E Z \leq 2 B \sqrt{\frac{l n (1 / δ)}{2 n}}, \end{aligned}

$\begin{align} Z - \mathbb{E}Z \leq 2 B \sqrt{\dfrac{ln(1/\delta)}{2n}}, \end{align}$

δ

$\delta$

\begin{aligned} E Z \leq 2 R_{n} (C), \end{aligned}

$\begin{align} \mathbb{E}Z \leq 2R_n(C), \end{align}$

\begin{aligned} R_{n} (C) \leq λ L R / \sqrt{n}, \end{aligned}

$\begin{align} R_n(C) \leq \lambda L R/\sqrt{n}, \end{align}$

λ

$\lambda$ позначає регуляризатор. Оскільки для шарнірних втрат і (доведіть нерівність Гоші-Шварца) це ще більше спрощує. Нарешті, склавши всі результати разом, ми можемо пов'язати

L = 1

$L = 1$

B = 1 + λ R

$B = 1 + \lambda R$

\begin{aligned} L ({\hat{g}}_{n}) - L (g_{c}^{*}) \leq 2 (1 + λ R) \sqrt{\frac{l n (1 / δ)}{2 n}} + 4 λ L R / \sqrt{n} \end{aligned}

$\begin{align} L(\hat{g}_n) - L(g^{*}_c) \leq 2(1 + \lambda R) \sqrt{\dfrac{ln(1/\delta)}{2n}} + 4 \lambda L R/\sqrt{n} \end{align}$

— dkoehn
джерело