Випробування на лінійну відокремлюваність

Чи є спосіб перевірити лінійну відокремленість двокласного набору даних у великих розмірах? Мої вектори функцій 40-довгі.

Я знаю, що я завжди можу проводити експерименти з логістичною регресією та визначати швидкість поштовху проти помилкової тривоги, щоб зробити висновок, чи є два класи лінійно відокремленими чи ні, але було б добре знати, чи існує вже стандартна процедура для цього.

Добре, що векторні машини підтримки (SVM) - це, мабуть, те, що ви шукаєте. Наприклад, SVM з лінійним ядром RBF, відображає зображення у просторі більшого розміру і намагається розділити класи на лінійну гіперплощину. Це хороше коротке відео SVM, що ілюструє ідею.

Ви можете обернути SVM методом пошуку для вибору функції (модель обгортки) і спробувати перевірити, чи може якась із ваших функцій лінійно розподілити класи, які ви маєте.

Існує багато цікавих інструментів для використання SVM, включаючи LIBSVM , MSVMPack та SVM-Scikit-learn .

Обчислювально найефективніший спосіб вирішити, чи лінійно відокремлюються два набори точок, це шляхом застосування лінійного програмування . GLTK ідеально підходить для цієї мети і майже кожна мова високого рівня пропонує інтерфейс для неї - R , Python, Octave, Julia тощо.

Що стосується відповіді, що пропонує використання SVM :

Використання SVM є неоптимальним рішенням для перевірки лінійної роздільності з двох причин:

1. SVM - класифікатори з низьким рівнем обмеження. Це означає, що лінійне ядро ​​SVM може осісти для роздільної площини, яка не відокремлюється ідеально, хоча це може бути реально можливим. Якщо ви перевірите коефіцієнт помилок, це буде не 0, і ви помилково зробите висновок, що два набори не є лінійно відокремлюваними. Цю проблему можна пом'якшити, вибравши дуже високий коефіцієнт витрат C - але це пов'язано з дуже високими обчислювальними витратами.

2. SVM - це класифікатори максимальної маржі. Це означає, що алгоритм намагатиметься знайти площину, що розділяє два класи, намагаючись триматися подалі від обох, наскільки це можливо. Знову ж таки, це особливість, що непотрібно збільшує обчислювальні зусилля, оскільки обчислює щось, що не має значення для відповіді на питання про лінійну відокремлюваність.

Скажімо, у вас є набір точок A і B:

Тоді вам доведеться мінімізувати 0 для наступних умов:

(Нижче A - це матриця, а не набір точок згори)

"Зведення до мінімуму 0" ефективно означає, що вам не потрібно фактично оптимізувати цільову функцію, оскільки це не обов'язково, щоб з'ясувати, чи множини лінійно відокремлюються.

Зрештою ( ) визначає розділову площину.

Якщо вас цікавить робочий приклад з R або математичні деталі, перевірте це .

Лінійний Perceptron гарантовано знайде рішення, якщо таке існує. Цей підхід не є ефективним для великих розмірів. Обчислювально найефективнішим способом вирішити, чи лінійно розділяються два набори точок, є застосування лінійного програмування, як згадував @Raffael.

Швидким рішенням було б вирішити перцептрон. Код із прикладом для вирішення використання Perceptron в Matlab є тут