втрати шарніру проти логістичних збитків, переваги та недоліки / обмеження

14

Втрату шарніру можна визначити за допомогою а втрата журналу може бути визначена як $\text{max}(0, 1-y_i\mathbf{w}^T\mathbf{x}_i)$ $\text{log}(1 + \exp(-y_i\mathbf{w}^T\mathbf{x}_i))$

У мене є такі питання:

Чи є якісь недоліки втрати шарніру (наприклад, чутливі до виснажувачів, як зазначено в http://www.unc.edu/~yfliu/papers/rsvm.pdf )?
Які відмінності, переваги, недоліки одного порівняно з іншим?

— user570593
джерело

22

Логарифмічне мінімізація втрат призводить до належних імовірнісних результатів.

Втрати шарніру призводять до деякої (не гарантованої) розрідженості в подвійному, але це не допомагає при оцінці ймовірності. Натомість він карає неправильні класифікації (саме тому так корисно визначати маржу): зменшення втрат шарніру настає зі зменшенням через неправильні класифікації маржі.

Отже, підсумовуючи:

Логарифмічні втрати призводять до кращої оцінки ймовірності ціною точності
Втрати шарніру призводять до кращої точності та деякої розрідженості ціною значно меншої чутливості щодо ймовірностей

— Firebug
джерело

1

+1. Мінімізація логістичних втрат відповідає максимальній біноміальній ймовірності. Мінімізація втрат у квадраті-помилки відповідає максимізації ймовірності Гаусса (це лише регресія OLS; для 2-класової класифікації це фактично еквівалентно LDA). Чи знаєте ви, чи мінімізація втрат шарніру відповідає максимізації деякої іншої ймовірності? Тобто чи існує якась імовірнісна модель, що відповідає втраті шарніра?

— амеба каже, що повернеться до Моніки

1

@amoeba Це цікаве питання, але SVM по суті не базуються на статистичному моделюванні. Сказавши це, перевірте цю відповідь від Glen_b. Вся нитка про це, але замість нечутливої для епсілона шарніра.

— Firebug

4

@Firebug отримав хорошу відповідь (+1). Насправді у мене тут було подібне питання.

Які наслідки вибору різних функцій втрат у класифікації для приблизної втрати 0-1

Я просто хочу додати більше про ще одну велику перевагу логістичних втрат: імовірнісну інтерпретацію. Приклад можна знайти тут

Зокрема, логістична регресія є класичною моделлю в статистичній літературі. (Див. Що означає назва "Логістична регресія"? Для називання.) Існує багато важливих понять, пов'язаних з логістичними втратами, такі як максимізація оцінки ймовірності журналу, тести відношення ймовірності, а також припущення щодо двочлену. Ось кілька пов’язаних дискусій.

Тест на коефіцієнт ймовірності в R

Чому логістичну регресію не називають логістичною класифікацією?

Чи існує припущення про логістичну регресію?

Різниця між моделями logit і probit

— Хайтао Ду
джерело

1

Оскільки @ hxd1011 додав перевагу перехресної ентропії, я додаду один недолік цього.

Похибка перехресної ентропії - один з багатьох заходів відстані між розподілами ймовірностей, але один її недолік полягає в тому, що розподіли з довгими хвостами можуть моделюватися погано з занадто великою вагою, що надається малоймовірним подіям.

— Аерін
джерело