Які переваги штучних нейронних мереж над підтримуючими векторними машинами? [зачинено]

ANN (Штучні нейронні мережі) та SVM (Support Vector Machines) - це дві популярні стратегії керованого машинного навчання та класифікації. Не часто зрозуміло, який метод краще для конкретного проекту, і я впевнений, що відповідь завжди "це залежить". Часто використовується комбінація обох поряд з байєсівською класифікацією.

Ці питання щодо Stackoverflow вже задавались щодо ANN vs SVM:

Класифікація ANN та SVM

яка різниця між ANN, SVM та KNN в моєму класифікаційному питанні

Підтримка векторної машини або штучної нейронної мережі для обробки тексту?

У цьому питанні я хотів би конкретно дізнатись, які аспекти ANN (зокрема, багатошарового перцептора) можуть зробити його бажаним використовувати над SVM? Причина, яку я запитую, полягає в тому, що легко відповісти на протилежне запитання: Підтримка векторних машин часто перевершує ANN, оскільки вони уникають двох основних слабких місць:

(1) ANN часто сходяться на локальних мінімумах, а не на глобальних мінімумах, це означає, що вони, по суті, іноді "не вистачають на велику картину" (або відсутні ліси для дерев)

(2) ANN часто перевищують, якщо навчання триває занадто довго, це означає, що для будь-якої заданої схеми ANN може почати розглядати шум як частину схеми.

SVM не страждають жодною з цих двох проблем. Однак, не очевидно, що SVM повинні бути повноцінною заміною ANN. Отже, яку конкретну перевагу має ANN перед SVM, що може зробити його застосовно до певних ситуацій? Я перерахував конкретні переваги SVM над ANN, тепер я хотів би побачити список переваг ANN (якщо такі є).

Судячи з поданих вами прикладів, я припускаю, що під ANN ви маєте на увазі багатошарові мережі передачі вперед (короткострокові мережі FF), такі як багатошарові перцептрони, оскільки вони прямій конкуренції з SVM.

Однією з конкретних переваг цих моделей над SVM є те, що їх розмір є фіксованим: вони є параметричними моделями, тоді як SVM - непараметричними. Тобто, в ІНС у вас є купа прихованих шарів з розмірами годин ₁ через годину _{в п}залежно від кількості функцій, плюс параметрів зміщення та тих, що складають вашу модель. На відміну від цього, SVM (принаймні кернелізований) складається з набору векторів підтримки, вибраних із навчального набору, з вагою для кожного. У гіршому випадку кількість векторів підтримки - це саме кількість навчальних зразків (хоча це відбувається в основному при невеликих навчальних наборах або у вироджених випадках) і загалом розмір моделі масштабується лінійно. Під час обробки природних мов класифікатори SVM з десятками тисяч векторів підтримки, кожен з яких має сотні тисяч функцій, не є нечуваним.

Крім того, онлайн-навчання мереж FF дуже просте порівняно з онлайн-підключенням SVM, і передбачення може бути досить швидким.

EDIT : все вищезазначене стосується загального випадку ядерних SVM. Лінійний SVM являє собою особливий випадок в тому , що вони є параметричними і дозволяють інтерактивне навчання з допомогою простих алгоритмів , таких як стохастичний градиентного спуск.

Одним із очевидних переваг штучних нейронних мереж над машинами підтримки вектора є те, що штучні нейронні мережі можуть мати будь-яку кількість виходів, тоді як підтримуючі векторні машини мають лише один. Найбільш прямий спосіб створити n-арний класифікатор з підтримуючими векторними машинами - це створити n підтримуючих векторних машин і навчити кожну з них по черзі. З іншого боку, n-арний класифікатор з нейронними мережами може бути навчений за один раз. Крім того, нейронна мережа матиме більше сенсу, оскільки це одне ціле, тоді як апарати вектора підтримки є ізольованими системами. Це особливо корисно, якщо результати є взаємопов'язаними.

Наприклад, якби мета була класифікацією рукописних цифр, зробили б десять машин підтримки. Кожна машина підтримки вектора розпізнавала б точно одну цифру, а не розпізнавала всі інші. Оскільки кожна рукописна цифра не може мати на увазі більше інформації, ніж просто її клас, немає сенсу намагатися вирішити це за допомогою штучної нейронної мережі.

Однак припустимо, що мета полягала у моделюванні гормону людини (для декількох гормонів) у залежності від легко вимірюваних фізіологічних факторів, таких як час після останнього прийому їжі, частота серцевих скорочень тощо. Оскільки всі ці фактори взаємозалежні, штучні нейронні мережева регресія має більше сенсу, ніж підтримка векторної машинної регресії.

Варто зазначити одне, що вони насправді дуже споріднені. Лінійні SVM еквівалентні одношаровим NN (тобто перцептронам), а багатошарові NN можуть бути виражені через SVM. Дивіться тут деталі.

Якщо ви хочете використовувати ядро ​​SVM, вам доведеться відгадати ядро. Однак ANN - це універсальні наближувачі, з якими можна тільки здогадуватися, - це ширина (точність наближення) та висота (ефективність наближення). Якщо правильно розробити проблему оптимізації, ви не перестараєтесь (див. Бібліографію щодо перевиконання). Це також залежить від навчальних прикладів, якщо вони правильно та рівномірно сканують простір пошуку. Виявлення ширини та глибини є предметом цілого програмування.

Припустимо, ви обмежили функції f (.) І обмежили універсальні наближувачі на I = [0,1] з діапазоном знову I = [0,1], наприклад, параметризовані реальною послідовністю компактної підтримки U (., A) з властивість, що існує послідовність послідовностей з

lim sup { |f(x) - U(x,a(k) ) | : x } =0

і ви малюєте приклади та тести (x,y)з розподілом D на IxI.

Для встановленої підтримки, що ви робите, це знайти найкраще таке, що таке

sum {  ( y(l) - U(x(l),a) )^{2} | : 1<=l<=N } is minimal

Нехай це a=aaє випадковою змінною!

середнє використання D and D^{N} of ( y - U(x,aa) )^{2}

Дозвольте мені пояснити, чому, якщо вибрати aaтакий, що помилка зведена до мінімуму, то для рідкісного набору значень вам ідеально підходить. Однак, оскільки вони рідкі, середнє значення ніколи не становить 0. Ви хочете мінімізувати друге, хоча у вас є дискретний наближення до D. І майте на увазі, що довжина підтримки вільна.

Однієї відповіді мені тут не вистачає: Багатошаровий персептрон здатний знайти залежність між ознаками. Наприклад, це необхідно в комп'ютерному зорі, коли в алгоритмі навчання подається необроблене зображення, і тепер обчислюються складні функції. По суті, проміжні рівні можуть обчислювати нові невідомі особливості.

Також слід врахувати, що систему SVM можна застосовувати безпосередньо до неметричних просторів, таких як набір мічених графіків чи рядків. Насправді, внутрішня функція ядра може бути належним чином узагальнена практично до будь-якого виду входу, за умови, що вимога ядра позитивної визначеності задоволена. З іншого боку, щоб мати можливість використовувати ANN на наборі мічених графіків, слід враховувати чіткі процедури вбудовування.