Обчислення коефіцієнтів Лагранжа для SVM в Python

10

Я намагаюся написати повну реалізацію SVM в Python, і у мене є кілька проблем, які обчислюють коефіцієнти Лагранжа.

Спочатку дозвольте перефразувати те, що я розумію з алгоритму, щоб переконатися, що я на вірному шляху.

Якщо - це набір даних, а - мітка класу , то $x_1, x_2, ..., x_n$ $y_i \in \{-1, 1\}$ $x_i$

\forall i, у_{i} (ш^{Т} х_{i} + б) \geq 1

$\forall i, y_i(w^Tx_i + b) \geq 1$

Тому нам просто потрібно вирішити оптимізаційну проблему

мінімізувати $\|w\|^2$

за умови $y_i(w^Tx_i + b) \geq 1$

З точки зору коефіцієнтів Лагранжа, це означає, що знаходження $w$ , $b$ і $\alpha=(\alpha_1, \alpha_2, ... \alpha_n) \neq0$ та $\geq0$ мінімізація:

L (α, ш, б) = \frac{1}{2} ‖ ш ‖^{2} - \sum α_{i} (у_{i} (ш^{Т} х + б) - 1)

$L(\alpha, w, b) = \frac12 \|w\|^2 - \sum \alpha_i(y_i(w^Tx + b)-1)$

Тепер оскільки

\frac{\partial L}{\partial ш} = 0 ⟹ ш = \sum α_{i} у_{i} х_{i}

$\frac{\partial L}{\partial w}=0 \implies w=\sum \alpha_i y_i x_i$ та

\frac{\partial L}{\partial б} = 0 ⟹ \sum у_{i} α_{i} = 0

$\frac{\partial L}{\partial b}=0 \implies \sum y_i \alpha_i = 0$ ми можемо переписати його як

L (α, ш, б) = Q (α) = \sum α_{i} - \frac{1}{2} \sum \sum α_{i} α_{j} у_{i} у_{j} х_{i}^{Т} х_{j}

$L(\alpha, w, b) = Q(\alpha)=\sum \alpha_i - \frac12\sum \sum \alpha_i \alpha_j y_i y_j x_i^T x_j$ з обмеженнями

α_{i} \geq 0 і \sum α_{i} у_{i} = 0

$\alpha_i \geq 0 \ \text{and} \ \sum \alpha_i y_i = 0$

Тому я намагаюся вирішити проблему оптимізації за допомогою Python, і єдиний безкоштовний пакет, який я міг знайти, називається cvxopt .

Я хотів би допомогти вирішити це питання, я не міг знайти жодного хорошого прикладу з цього приводу, і, хоча я розумію теорію, мені важко перевести це в код (я б очікував навпаки, оскільки я більше з фону програмування).

Зауважте, що в якийсь момент я хочу вирішити це за допомогою ядер але я не впевнений, які наслідки стосуються вирішення цього коду.

L (α, ш, б) = Q (α) = \sum α_{i} - \frac{1}{2} \sum \sum α_{i} α_{j} у_{i} у_{j} К (х_{i}, х_{j})

$L(\alpha, w, b) = Q(\alpha)=\sum \alpha_i - \frac12\sum \sum \alpha_i \alpha_j y_i y_j K(x_i,x_j)$

Будь-яка допомога буде дуже вдячна, я дуже втрачений, як реалізувати це в Python. Якщо у вас є кращий модуль для вирішення проблеми оптимізації, я також хотів би прочитати про нього.

— Чарльз Менгуй
джерело

4

Я раніше використовував cvxopt для реалізації SVM, однак у matlab не python. Це, безумовно, буде відповідати вашим цілям, чи буде досить ефективним його залежність від того, для чого ви його використовуєте. Найбільш ефективні SVM не використовують пакет вирішувачів QP, вони користуються деякими оптимізаціями, унікальними для SVM. Багато хто використовує алгоритм стилю SMO для його вирішення.

LibSVM - це пакет SVM, який використовує алгоритм у виборі робочих наборів, використовуючи інформацію другого порядку для векторних машин підтримки навчання . Код є відкритим кодом, якщо вам цікаво подивитися, як його реалізувати. Він також має інтерфейс python.

SVMLight - це ще один пакет, вони використовують інший алгоритм (див. Посилання на їхньому сайті). Він також є відкритим кодом і має інтерфейс пітона.

— карену
джерело

Дякую за інформативну відповідь (яка, на мою думку, перевершує мою), і ласкаво просимо до scicomp!

— Арон Ахмадія

+1 цікава відповідь, і я почав переглядати ваші чудові посилання, які мені дуже допомагають!

— Чарльз Менгуй

2

Загальна форма вашої проблеми оптимізації - це квадратична програма , незалежно від того, використовуєте ви трюк ядра чи лінійне ядро. Здається, cvxoptце буде достатньо для того, що ви намагаєтеся зробити, але інші пітонавти тут пощастили і з OpenOpt .

— Арон Ахмадія
джерело

Ароне, чи знаєш ти, чи обробляється Ipopt Python?

— Джефф Оксберрі

Один із студентів Девіда Кетчесона отримав це, працюючи з OpenOpt (який може використовувати його за допомогою алгоритму квазі-Ньютона), але у нього виникли певні труднощі з отриманням стека OpenOpt на OS X.

— Арон Ахмадія