Чому існує дві різні логістичні формулювання втрат / позначень?

Я бачив два типи формулювання логістичних втрат. Ми можемо легко показати, що вони однакові, єдиною різницею є визначення мітки $y$ .

Формулювання / позначення 1, $y \in \{0, +1\}$ :

L (y, β^{T} x) = - y \log (p) - (1 - y) \log (1 - p)

$L(y,\beta^Tx)=-y\log(p)-(1-y)\log(1-p)$

де $p=\frac 1 {1+\exp(-\beta^Tx)}$ , де логістична функція відображає дійсне число $\beta^T x$ на 0,1 інтервал.

Формулювання / позначення 2, $y \in \{-1, +1\}$ :

L (y, β^{T} x) = \log (1 + \exp (- y \cdot β^{T} x))

$L(y,\beta^Tx)=\log(1+\exp{(-y\cdot \beta^Tx}))$

Вибір нотації - це як вибір мови, є плюси і мінуси використання тієї чи іншої. Які плюси і мінуси цих двох позначень?

Мої спроби відповісти на це питання полягають у тому, що, схоже, статистиці спільнота сподобається перша нотація, а спільноті інформатики подобається друга.

Спочатку позначення можна пояснити терміном "ймовірність", оскільки логістична функція перетворює дійсне число $\beta^Tx$ в інтервал 0,1.
А друге позначення є більш коротким і його легше порівняти з втратою шарніру або втратою 0-1.

Чи правий я? Будь-які інші відомості?

— Хайтао Ду
джерело

Я впевнений, що про це, мабуть, вже задавали кілька разів. Наприклад, stats.stackexchange.com/q/145147/5739

— StasK

Чому, на вашу думку, друге позначення легше порівняти зі втратою шарніра? Просто тому, що він визначений на

{- 1, 1}

$\{-1, 1\}$ замість

{0, 1}

$\{0, 1\}$ чи щось інше?

— тіньтекер

Мені якось подобається симетрія першої форми, але лінійна частина заглиблена досить глибоко, тому з нею можна важко працювати.

— Меттью Друрі

@ssdecontrol, будь ласка, перевірте цю цифру, cs.cmu.edu/~yandongl/loss.html, де вісь x

- y \cdot β^{T} x

$-y\cdot \beta^Tx$ , а вісь y - значення втрат. Таке визначення зручно порівнювати з втратою 01, втратою шарніру тощо

— Хайтао Ду

Відповіді:

Коротка версія

Так
Так

Довга версія

Приємне в математичному моделюванні полягає в тому, що воно гнучко. Це дійсно еквівалентні функції втрат, але вони походять від дуже різних базових моделей даних.

Формула 1

Перше позначення походить від моделі ймовірності Бернуллі для , яка умовно визначена на . У цій моделі результат / етикетка / клас / прогнозування представлений випадковою змінною яка слідує за розподілом . Тому його ймовірність така: $y$ $\{0, 1\}$ $Y$ $\mathrm{Bernoulli}(p)$

P (Y = y | p) = L (p; y) = p^{y} (1 - p)^{1 - y} = {\begin{cases} 1 - p & y = 0 \\ p & y = 1 \end{cases}

$P(Y = y\ |\ p) = \mathcal L(p; y) = p^y\ (1-p)^{1-y} = \begin{cases}1-p &y=0 \\ p &y=1 \end{cases}$

для . Використання 0 і 1 як значень індикатора дозволяє зменшити кусочну функцію в крайньому правому куті до стислого виразу. $p\in[0, 1]$

Як ви вже вказували, ви можете зв'язати з матрицею вхідних даних , дозволяючи . Звідси пряма алгебраїчна маніпуляція виявляє, що такий же, як перший у вашому запитанні (підказка: ). Таким чином, мінімізуючи втрати журналу понад $Y$ $x$ $\operatorname{logit} p = \beta^T x$ $\log \mathcal L(p;y)$ $L(y, \beta^Tx)$ $(y - 1) = - (1 - y)$ еквівалентно максимальній оцінці вірогідності моделі Бернуллі. $\{0, 1\}$

Ця формулювання також є окремим випадком узагальненої лінійної моделі , яка формулюється як для оборотної, диференційованої функції та розподілу у експонентній родині . $Y \sim D(\theta),\ g(Y) = \beta^T x$ $g$ $D$

Формула 2

$y$ $\{-1, 1\}$

max ({0, 1 - y β^{T} x}) + λ ‖ β ‖^{2} .

$\max \left(\{0, 1 - y \beta^T x \}\right) + \lambda \|\beta\|^2.$

ℓ (y, β) + λ ‖ β ‖^{2}

$\ell(y, \beta) + \lambda \|\beta\|^2$

ℓ

$\ell$

λ

$\lambda$

β

$\beta$

ℓ

$\ell$

L (y, β^{T} x)

$L(y, \beta^Tx)$

— shadowtalker
джерело

p^{y} (1 - p)^{1 - y 1 - y}

$p^y(1 - p)^{\pmb{1 - y}}$

Я думаю, що у @ssdecontrol була дуже гарна відповідь. Я просто хочу додати кілька коментарів до формули 2 до власного питання.

L (y, \hat{y}) = \log (1 + \exp (- y \cdot \hat{y}))

$L(y,\hat y)=\log(1+\exp{(-y\cdot \hat y}))$

Причина, якою люблять цю формулювання, полягає в тому, що вона дуже лаконічна, і вона видаляє "деталі ймовірності інтерпретації".

$\hat y$ $y$ $\hat y$

Але без цих деталей є добрими з точки зору, ми можемо легко порівняти його з іншими втратами класифікації, такими як втрата 01 або втрата шарніру.

L_{01} (y, \hat{y}) = I [y \cdot \hat{y} > 0] L_{hinge} (y, \hat{y}) = (1 - y \cdot \hat{y})_{+} L_{logistic} (y, \hat{y}) = \log (1 + \exp (- y \cdot \hat{y}))

$L_{01}(y,\hat y)=I[y \cdot \hat y >0]\\ L_{\text{hinge}}(y,\hat y)=(1-y \cdot \hat y)_+\\ L_{\text{logistic}}(y,\hat y)=\log(1+\exp(-y \cdot \hat y))$

Here we plot three loss functions, x axis is $y \cdot \hat y$ and y axis is the loss value. Note, in all above formulas $\hat y$ is a real number, and this number can come from linear form $\beta^Tx$ or other forms. Such notation hides probability details.

— Haitao Du
джерело

I see what you mean about easy comparison

— shadowtalker