Яка функція втрати є правильною для логістичної регресії?

31

Я читав про дві версії функції втрат для логістичної регресії, яка з них є правильною і чому?

З машинного навчання Чжоу Ч. (китайською), з : $\beta = (w, b)\text{ and }\beta^Tx=w^Tx +b$

$\begin{matrix} (1) & l (β) = \sum_{i = 1}^{m} (- y_{i} β^{T} x_{i} + \ln (1 + e^{β^{T} x_{i}})) \end{matrix}$ $l(\beta) = \sum\limits_{i=1}^{m}\Big(-y_i\beta^Tx_i+\ln(1+e^{\beta^Tx_i})\Big) \tag 1$
З мого курсу коледжу, з : $z_i = y_if(x_i)=y_i(w^Tx_i + b)$

$\begin{matrix} (2) & L (z_{i}) = \log (1 + e^{- z_{i}}) \end{matrix}$ $L(z_i)=\log(1+e^{-z_i}) \tag 2$

Я знаю, що перший - це скупчення всіх вибірок, а другий - для однієї вибірки, але мені цікавіше різниця у вигляді двох функцій втрат. Якось у мене є відчуття, що вони рівноцінні.

logistic loss-functions

— xtt
джерело

31

Зв’язок такий: . $l(\beta) = \sum_i L(z_i)$

Визначте логістичну функцію як . Вони володіють властивістю, що . Або іншими словами: $f(z) = \frac{e^{z}}{1 + e^{z}} = \frac{1}{1+e^{-z}}$ $f(-z) = 1-f(z)$

\frac{1}{1 + e^{z}} = \frac{e^{- z}}{1 + e^{- z}} .

$\frac{1}{1+e^{z}} = \frac{e^{-z}}{1+e^{-z}}.$

Якщо ви приймаєте зворотну з обох сторін, то візьміть отриманий вами журнал:

\ln (1 + e^{z}) = \ln (1 + e^{- z}) + z .

$\ln(1+e^{z}) = \ln(1+e^{-z}) + z.$

Відніміть з обох сторін, і ви повинні побачити це: $z$

- y_{i} β^{T} x_{i} + l n (1 + e^{y_{i} β^{T} x_{i}}) = L (z_{i}) .

$-y_i\beta^Tx_i+ln(1+e^{y_i\beta^Tx_i}) = L(z_i).$

Редагувати:

На даний момент я перечитую цю відповідь і розгублений, як я отримав рівним . Можливо, в оригінальному питанні є помилка друку. $-y_i\beta^Tx_i+ln(1+e^{\beta^Tx_i})$ $-y_i\beta^Tx_i+ln(1+e^{y_i\beta^Tx_i})$

Редагувати 2:

У випадку, якщо в оригінальному запитанні не було помилки, @ManelMorales виявляється правильним, щоб звернути увагу на той факт, що коли функцію маси ймовірностей можна записати як , завдяки властивості, що . Я переписую це інакше тут, тому що він вносить нове еквівокацію на позначення . Решта випливає, приймаючи негативну ймовірність журналу для кожного кодування. Дивіться його відповідь нижче для отримання більш детальної інформації. $y \in \{-1,1\}$ $P(Y_i=y_i) = f(y_i\beta^Tx_i)$ $f(-z) = 1 - f(z)$ $z_i$ $y$

— Тейлор
джерело

42

ОП помилково вважає, що зв'язок між цими двома функціями обумовлений кількістю вибірок (тобто одиничний проти всіх). Однак фактична відмінність полягає лише в тому, як ми вибираємо свої навчальні етикетки.

У разі двійкової класифікації ми можемо призначити мітки або . $y=\pm1$ $y=0,1$

Як уже було зазначено, логістична функція є хорошим вибором, оскільки вона має форму ймовірності, тобто та як . Якщо виберемо мітки ми можемо призначити їх $\sigma(z)$ $\sigma(-z)=1-\sigma(z)$ $\sigma(z)\in (0,1)$ $z\rightarrow \pm \infty$ $y=0,1$

\begin{aligned} P (y = 1 | z) & = σ (z) = \frac{1}{1 + e^{- z}} \\ P (y = 0 | z) & = 1 - σ (z) = \frac{1}{1 + e^{z}} \end{aligned}

$\begin{equation} \begin{aligned} \mathbb{P}(y=1|z) & =\sigma(z)=\frac{1}{1+e^{-z}}\\ \mathbb{P}(y=0|z) & =1-\sigma(z)=\frac{1}{1+e^{z}}\\ \end{aligned} \end{equation}$

який можна записати більш компактно як . $\mathbb{P}(y|z) =\sigma(z)^y(1-\sigma(z))^{1-y}$

Простіше максимально підвищити ймовірність журналу. Максимізація ймовірності журналу - це те саме, що мінімізувати негативну ймовірність журналу. Для зразків , взявши природний логарифм та деяке спрощення, ми з'ясуємо: $m$ $\{x_i,y_i\}$

\begin{aligned} l (z) = - \log (\prod_{i}^{m} P (y_{i} | z_{i})) = - \sum_{i}^{m} \log (P (y_{i} | z_{i})) = \sum_{i}^{m} - y_{i} z_{i} + \log (1 + e^{z_{i}}) \end{aligned}

$\begin{equation} \begin{aligned} l(z)=-\log\big(\prod_i^m\mathbb{P}(y_i|z_i)\big)=-\sum_i^m\log\big(\mathbb{P}(y_i|z_i)\big)=\sum_i^m-y_iz_i+\log(1+e^{z_i}) \end{aligned} \end{equation}$

Повну інформацію та додаткову інформацію можна знайти в цьому зошиті з юпітером . З іншого боку, ми, можливо, використали мітки . Тоді досить очевидно, що ми можемо призначити $y=\pm 1$

P (y | z) = σ (y z) .

$\begin{equation} \mathbb{P}(y|z)=\sigma(yz). \end{equation}$

Очевидно також, що . Дотримуючись тих же кроків, що і раніше, ми мінімізуємо в цьому випадку функцію втрат $\mathbb{P}(y=0|z)=\mathbb{P}(y=-1|z)=\sigma(-z)$

\begin{aligned} L (z) = - \log (\prod_{j}^{m} P (y_{j} | z_{j})) = - \sum_{j}^{m} \log (P (y_{j} | z_{j})) = \sum_{j}^{m} \log (1 + e^{- y z_{j}}) \end{aligned}

$\begin{equation} \begin{aligned} L(z)=-\log\big(\prod_j^m\mathbb{P}(y_j|z_j)\big)=-\sum_j^m\log\big(\mathbb{P}(y_j|z_j)\big)=\sum_j^m\log(1+e^{-yz_j}) \end{aligned} \end{equation}$

Де останній крок слідує після того, як ми беремо зворотну реакцію, яку індукує негативний знак. Хоча ми не повинні рівняти ці дві форми, враховуючи, що в кожній формі приймає різні значення, проте ці дві рівносильні: $y$

\begin{aligned} - y_{i} z_{i} + \log (1 + e^{z_{i}}) \equiv \log (1 + e^{- y z_{j}}) \end{aligned}

$\begin{equation} \begin{aligned} -y_iz_i+\log(1+e^{z_i})\equiv \log(1+e^{-yz_j}) \end{aligned} \end{equation}$

Випадок є тривіальним для показу. Якщо , то з лівої сторони, а в правій частині. $y_i=1$ $y_i \neq 1$ $y_i=0$ $y_i=-1$

Хоча можуть бути принципові причини, чому ми маємо дві різні форми (див. Чому існують дві різні логістичні формулювання збитків / позначення? ), Одна причина вибору першої - це з практичних міркувань. У першому ми можемо використовувати властивість для тривіального обчислення та , обидва вони необхідні для аналізу конвергенції (тобто для визначення опуклості функції втрат шляхом обчислення Гессі ). $\partial \sigma(z) / \partial z=\sigma(z)(1-\sigma(z))$ $\nabla l(z)$ $\nabla^2l(z)$

— Мануель Моралес
джерело

Чи логістична функція втрат опукла?

— користувач85361

2

Регістр журналу IS опуклий, але не випуклий. Таким чином, ми не можемо встановити обмеження на те, як довго спускається градієнт, щоб сходитися. Ми можемо відкоригувати форму щоб вона була сильно опуклою, додавши термін регуляризації: з позитивною константою визначимо нашу нову функцію, щоб бути ст. є сильно опуклий, і тепер ми можемо довести межу збіжності . На жаль, ми зараз мінімізуємо іншу функцію! На щастя, ми можемо показати, що значення оптимуму регульованої функції близьке до значення оптимуму оригіналу.

l (z)

$l(z)$

α

$\alpha$

l

$l$

λ

$\lambda$

l^{'} (z) = l (z) + λ ‖ z ‖^{2}

$l'(z)=l(z)+\lambda\|z\|^2$

l^{'} (z)

$l'(z)$

λ

$\lambda$

l^{'}

$l'$

— Мануель Моралес

Блокнот, про який ви згадали, пішов, я отримав ще один доказ: statlect.com/fundamentals-of-statistics/…

— Domi.Zhang

2

Я вважаю це найбільш корисною відповіддю.

— mohit6up

@ManuelMorales Чи є у вас посилання на оптимальне значення регульованої функції, близьке до вихідного?

— Марк

19

Я засвоїв функцію втрат для логістичної регресії наступним чином.

Логістична регресія виконує двійкову класифікацію, і тому виводи мітки є двійковими, 0 або 1. Нехай є ймовірністю того, що двійковий вихід дорівнює 1, заданий векторним вхідним ознакою . Коефіцієнти - ваги, які алгоритм намагається вивчити. $P(y=1|x)$ $y$ $x$ $w$

P (y = 1 | x) = \frac{1}{1 + e^{- w^{T} x}}

$P(y=1|x) = \frac{1}{1 + e^{-w^{T}x}}$

Оскільки логістична регресія є двійковою, ймовірність є просто 1 мінусом вищевказаного терміна. $P(y=0|x)$

P (y = 0 | x) = 1 - \frac{1}{1 + e^{- w^{T} x}}

$P(y=0|x) = 1- \frac{1}{1 + e^{-w^{T}x}}$

Функція втрат - це сума (A) виходу помножена на і (B) вихід помножений на для одного прикладу навчання, підсумований понад прикладів навчання. $J(w)$ $y=1$ $P(y=1)$ $y=0$ $P(y=0)$ $m$

J (w) = \sum_{i = 1}^{m} y^{(i)} \log P (y = 1) + (1 - y^{(i)}) \log P (y = 0)

$J(w) = \sum_{i=1}^{m} y^{(i)} \log P(y=1) + (1 - y^{(i)}) \log P(y=0)$

де вказує ярлик у ваших навчальних даних. Якщо навчальний екземпляр має мітку , то , залишивши ліву підсумку на місці, але зробивши праву підсумку з станьте . З іншого боку, якщо навчальний екземпляр має , правий підсумок з терміном залишається на місці, але лівий підсумок стає . Вірогідність журналу використовується для зручності обчислення. $y^{(i)}$ $i^{th}$ $1$ $y^{(i)}=1$ $1-y^{(i)}$ $0$ $y=0$ $1-y^{(i)}$ $0$

Якщо тоді замінимо і на більш ранні вирази, то отримаємо: $P(y=1)$ $P(y=0)$

J (w) = \sum_{i = 1}^{m} y^{(i)} \log (\frac{1}{1 + e^{- w^{T} x}}) + (1 - y^{(i)}) \log (1 - \frac{1}{1 + e^{- w^{T} x}})

$J(w) = \sum_{i=1}^{m} y^{(i)} \log \left(\frac{1}{1 + e^{-w^{T}x}}\right) + (1 - y^{(i)}) \log \left(1- \frac{1}{1 + e^{-w^{T}x}}\right)$

Детальніше про цю форму ви можете прочитати в цих конспектах лекцій Стенфорда .

— stackoverflowuser2010
джерело

Ця відповідь також надає тут певну актуальну точку зору.

— GeoMatt22

6

Вираз, який ви маєте, - це не втрата (звести до мінімуму), а швидше схожа на журнал (щоб бути максимальною).

— ксеноцион

2

@xenocyon true - ця сама формулювання зазвичай пишеться з негативним знаком, застосованим до повного підсумовування.

— Олексій Клибіш

1

Замість середньої квадратичної помилки ми використовуємо функцію витрат під назвою Cross-Entropy, також відому як Log Loss. Перехресні ентропійні втрати можна розділити на дві окремі функції витрат: одну для у = 1 і одну для у = 0.

\begin{aligned} j (θ) & = \frac{1}{m} \sum_{i = 1}^{m} C o s t (h_{θ} (x^{(i)}), y^{(i)}) \\ C o s t (h_{θ} (x), y) & = - \log (h_{θ} (x)) & i f y & = 1 \\ C o s t (h_{θ} (x), y) & = - \log (1 - h_{θ} (x)) & i f y & = 0 \end{aligned}

$\begin{align}\newcommand{\Cost}{{\rm Cost}}\newcommand{\if}{{\rm if}} j(\theta) &= \frac 1 m \sum_{i=1}^m \Cost(h_\theta(x^{(i)}), y^{(i)}) & & \\ \Cost(h_\theta(x), y) &= -\log(h_\theta(x)) & \if\ y &= 1 \\ \Cost(h_\theta(x), y) &= -\log(1-h_\theta(x)) & \if\ y &= 0 \end{align}$

Коли ми збираємо їх, ми маємо:

j (θ) = \frac{1}{m} \sum_{i = 1}^{m} [y^{(i)} \log (h_{θ} (x^{(i)})) + (1 - y^{(i)}) \log (1 - h_{θ} (x)^{(i)})]

$j(\theta) = \frac 1 m \sum_{i=1}^m \big[y^{(i)}\log(h_\theta(x^{(i)})) + (1-y^{(i)})\log(1-h_\theta(x)^{(i)}) \big]$

Помноження на і у наведеному рівнянні - підлий трюк, який давайте використаємо те саме рівняння для розв’язання для випадків та . Якщо , перша сторона скасовується. Якщо , друга сторона скасовується. В обох випадках ми виконуємо лише ту операцію, яку нам потрібно виконати. $y$ $(1−y)$ $y=1$ $y=0$ $y=0$ $y=1$

Якщо ви не хочете використовувати forцикл, ви можете спробувати векторну форму рівняння вище

\begin{aligned} h & = g (X θ) \\ J (θ) & = \frac{1}{m} \cdot (- y^{T} \log (h) - (1 - y)^{T} \log (1 - h)) \end{aligned}

$\begin{align} h &= g(X\theta) \\ J(\theta) &= \frac 1 m \cdot \big(-y^T\log(h)-(1-y)^T\log(1-h)\big) \end{align}$

Все пояснення можна переглянути на шпаргах машинного навчання .

— Емануель Фонтелл
джерело