Підтримка векторних машин та регресії

26

Вже пройшла чудова дискусія щодо того, як вектори підтримки підтримують класифікацію, але я дуже розгублений, як підтримуючі векторні машини узагальнюються до регресії.

Хтось дбає просвітити мене?

regression machine-learning svm

— Зах
джерело

17

В основному вони узагальнюються однаково. Підхід до регресії на основі ядра полягає в тому, щоб перетворити функцію, викликати її в деякий векторний простір, а потім виконати лінійну регресію в цьому векторному просторі. Щоб уникнути "прокляття розмірності", лінійна регресія в перетвореному просторі дещо відрізняється, ніж звичайні найменші квадрати. Підсумком є те, що регресія в трансформованому просторі може бути виражена як , де це спостереження з навчального набору, - це перетворення, застосоване до даних, а крапка - це крапковий добуток. Таким чином, лінійну регресію "підтримують" декілька (бажано, дуже невелика кількість) навчальних векторів. $\mathbf{x}$ $\ell(\mathbf{x}) = \sum_i w_i \phi(\mathbf{x_i}) \cdot \phi(\mathbf{x})$ $\mathbf{x_i}$ $\phi(\cdot)$

Усі математичні деталі приховані в дивному регресії, здійсненому в трансформованому просторі ("епсилон-нечутлива трубка" або будь-якому іншому) та виборі перетворення, . Для практикуючого також є питання декількох вільних параметрів (як правило, у визначенні та регресії), а також ознайомлення , де зазвичай корисне знання домену. $\phi$ $\phi$

— шабчеф
джерело

З точки зору інтуїції, чи це майже як однокласна класифікація, де лінія "межа" класу закінчується через точки, а не між точками двох класів?

— Уейн

@Wayne, це моє розуміння, так. Я не на 100%, однак.

— Зак

5

Для огляду SVM: як працює векторна машина підтримки (SVM)?

Щодо вектора регресії підтримки (SVR), я вважаю ці слайди з http://cs.adelaide.edu.au/~chhshen/teaching/ML_SVR.pdf ( дзеркало ) дуже чіткими:

Документація Matlab також має гідне пояснення і додатково переходить алгоритм вирішення оптимізації: https://www.mathworks.com/help/stats/understanding-support-vector-machine-regression.html ( дзеркало ).

Поки що ця відповідь представила так звану епсилон-нечутливу регресію SVM (ε-SVM). Існує більш новий варіант SVM для будь-якої класифікації регресії: Найменші квадрати підтримують векторну машину .

Крім того, SVR може бути розширений на багатовихідний ака-багатоцільовий, наприклад див. {1}.

Список літератури:

{1} Борчані, Ханен, Джерардо Варандо, Конча-Більца та Педро Ларраньяга. "Огляд регресії з кількома виходами". Міддисциплінарні огляди Вілі: Збір даних та відкриття знань 5, вип. 5 (2015): 216-233. https://scholar.google.com/scholar?cluster=10208375872303977988&hl=uk&as_sdt=0,14 ; https://web.archive.org/web/20170628222235/http://oa.upm.es/40804/1/INVE_MEM_2015_204213.pdf

— Франк Дернонкур
джерело