Чому середньоквадратична помилка є перехресною ентропією між емпіричним розподілом та гауссова модель?

28

У 5.5, « Глибоке навчання» (Ian Goodfellow, Yushua Bengio та Aaron Courville), він стверджує, що

Будь-яка втрата, що складається з негативної логічної ймовірності, є перехресною ентропією між емпіричним розподілом, визначеним навчальним набором, та розподілом ймовірностей, визначеним моделлю. Наприклад, середня помилка у квадраті - це перехресна ентропія між емпіричним розподілом та гауссовою моделлю.

Я не можу зрозуміти, чому вони рівнозначні, і автори не розширюються по суті.

machine-learning normal-distribution cross-entropy

— Муфей Лі
джерело

32

Нехай дані будуть . Напишіть для емпіричного розподілу. За визначенням, для будь-якої функції , $\mathbf{x}=(x_1, \ldots, x_n)$ $F(\mathbf{x})$ $f$

E_{F (x)} [f (X)] = \frac{1}{n} \sum_{i = 1}^{n} f (x_{i}) .

$\mathbb{E}_{F(\mathbf{x})}[f(X)] = \frac{1}{n}\sum_{i=1}^n f(x_i).$

Нехай модель має щільність де визначено на опорі моделі. The $M$ $e^{f(x)}$ $f$ Крос-ентропії з і визначається як $F(\mathbf{x})$ $M$

\begin{matrix} (1) & H (F (x), M) = - E_{F (x)} [\log (e^{f (X)}] = - E_{F (x)} [f (X)] = - \frac{1}{n} \sum_{i = 1}^{n} f (x_{i}) . \end{matrix}

$H(F(\mathbf{x}), M) = -\mathbb{E}_{F(\mathbf{x})}[\log(e^{f(X)}] = -\mathbb{E}_{F(\mathbf{x})}[f(X)] =-\frac{1}{n}\sum_{i=1}^n f(x_i).\tag{1}$

Якщо припустити, що є простим випадковим вибірком, його негативна ймовірність є $x$

\begin{matrix} (2) & - \log (L (x)) = - \log \prod_{i = 1}^{n} e^{f (x_{i})} = - \sum_{i = 1}^{n} f (x_{i}) \end{matrix}

$-\log(L(\mathbf{x}))=-\log \prod_{i=1}^n e^{f(x_i)} = -\sum_{i=1}^n f(x_i)\tag{2}$

в силу властивостей логарифмів (вони перетворюють продукти в суми). Вираз - це постійний вираз разів . Оскільки функції втрат використовуються в статистиці лише шляхом їх порівняння, це не має значення, що одна є (позитивною) постійною часом інша. Саме в цьому сенсі негативна ймовірність журналу "є" перехресною ентропією у котируванні. $(2)$ $n$ $(1)$

Потрібно трохи більше фантазії, щоб обгрунтувати друге твердження цитати. Зв'язок із помилкою у квадраті зрозумілий, оскільки для "моделі Гаусса", яка прогнозує значення у точках , значення у будь-якій такій точці дорівнює $p(x)$ $x$ $f$

f (x; p, σ) = - \frac{1}{2} (\log (2 π σ^{2}) + \frac{(x - p (x))^{2}}{σ^{2}}),

$f(x; p, \sigma) = -\frac{1}{2}\left(\log(2\pi \sigma^2) + \frac{(x-p(x))^2}{\sigma^2}\right),$

яка є помилкою у квадраті але змінена на і зміщена на функцію . Один із способів зробити пропозицію правильною - припустити, що вона не вважає частиною "моделі" - повинна визначатися якось незалежно від даних. У цьому випадку різниці між середніми помилками у квадраті пропорційні різниці між перехресними ентропіями або ймовірностями журналу, тим самим роблячи всі три еквіваленти для цілей примірки моделі. $(x-p(x))^2$ $1/(2\sigma^2)$ $\sigma$ $\sigma$ $\sigma$

(Однак, як правило, підходить як частина процесу моделювання; в цьому випадку цитата не буде цілком правильною.) $\sigma = \sigma(x)$

— дзижчати
джерело

1

+1 з двома пропозиціями - може використовувати

замість

щоб уникнути плутанини з

. Друга більшість оцінок

буде

. Коли ви це підключите і додасте, ви отримаєте

g ()

$g ()$

f ()

$f ()$

F ()

$F ()$

σ^{2}

$\sigma^2$

k \sum_{i = 1}^{n} {(x_{i} - p (x_{i}))}^{2}

$k\sum_{i=1}^n \left (x_i - p (x_i)\right)^2$

- \frac{1}{2} \log [\sum_{i = 1}^{n} {(x_{i} - p (x_{i}))}^{2}] + h (k)

$-\frac {1}{2}\log\left [\sum_{i=1}^n \left (x_i - p (x_i)\right)^2\right] +h(k)$ . Similar to AIC-type formula...

— probabilityislogic

@probabilityislogic I choose the pair

F

$F$ and

f

$f$ because they do represent closely related quantities.

— whuber

Привіт, я думаю, що це стосується лише лінійного розподілу. Що стосується нелінійних проблем з розподілом, я думаю, що ми все ще можемо використовувати MSE як функцію витрат, правда?

— Лев Лай

5

Для читачів книги «Глибоке навчання» я хотів би додати до чудової прийнятої відповіді, що автори детально пояснюють своє твердження в розділі 5.5.1, а саме Приклад: Лінійна регресія як максимальна ймовірність .

Там вони перераховують саме обмеження, згадані у прийнятій відповіді:

$p(y | x) = \mathcal{N}\big(y; \hat{y}(x; w), \sigma^2\big)$ . The function $\hat{y}(x; w)$ gives the prediction of the mean of the Gaussian. In this example, we assume that the variance is fixed to some constant $\sigma^2$ chosen by the user.

Then, they show that the minimization of the MSE corresponds to the Maximum Likelihood Estimate and thus the minimization of the cross-entropy between the empirical distribution and $p(y|x)$ .

— Kilian Batzner
джерело