Чи чутливий векторний апарат підтримки до співвідношення між атрибутами?

Я хотів би навчити SVM для класифікації справ (TRUE / FALSE) на основі 20 атрибутів. Я знаю, що деякі з цих ознак сильно співвідносяться. Тому моє запитання: чи SVM чутливий до співвідношення чи надмірності між ознаками? Будь-яка довідка?

svm multicollinearity kernel-trick

— user7064
джерело

Моя здогадка була б ні, оскільки створення поділу на основі однієї змінної зробило б інші корельовані змінні слабкими щодо подальшого поділу. Однак, можливо, існує певна нестабільність щодо обраної змінної.

— мандата

Ви говорите про лінійне SVM, або ядро RBF, або ...?

— Дугал

Гмммм, я не знаю ... чи залежить від цього відповідь?

— user7064

Так, абсолютно. Ви можете створити ядро, щоб явно мати справу з кореляціями, якщо хочете.

— Дугал

@Dougal: Якщо існують методи усунення ефекту кореляції, чи це не означає, що стандартний SVM чутливий до кореляції?

— cfh

Лінійне ядро: ефект тут аналогічний ефекту мультиколінеарності при лінійній регресії. Ваша вивчена модель може бути не особливо стабільною щодо невеликих варіацій тренувального набору, оскільки різні весові вектори матимуть подібні результати. Прогнози набору тренувань, однак, будуть досить стабільними, а також тестують прогнози, якщо вони надходять з одного розподілу.

Ядро RBF: Ядро RBF розглядає лише відстані між точками даних. Таким чином, уявіть, що ви насправді маєте 11 атрибутів, але один з них повторюється 10 разів (досить крайній випадок). Тоді цей повторний атрибут сприятиме відстані в 10 разів більше, ніж будь-який інший атрибут, і вивчена модель, можливо, буде набагато більше впливати на цю особливість.

$d(x, y) = \sqrt{ (x - y)^T S^{-1} (x - y) }$ $S$ $x$ $C x$ $C$ $S^{-1} = C^T C$ $S^{-1}$

— Дугал
джерело

Це дуже цікава відповідь; Я хотів би прочитати більше про те, як пом'якшити подібні проблеми. Ви можете додати посилання чи дві?

— Sycorax каже, що повернеться до Моніки

Я не знаю хорошого поза рукою, але я трохи озирнусь навколо, можливо, сьогодні.

— Дугал

Дивовижно! Надішліть мені поштову скриньку, якщо вам трапиться класна стаття. Я радий, що мій (+1) міг би поставити тебе за 3 к. (-:

— Sycorax каже: Відновити Моніку

Ключ оберненої матриці коваріації на відстані Махаланобіс. Якщо ви можете достовірно оцінити, це може бути враховано.

— Владислав Довгалець