Процентні функції втрат

11

Рішення проблеми:

min_{m} E [| m - X |]

$\min_{m} \; E[|m-X|]$

добре відомо, що є медіаною $X$ , але як виглядає функція втрат для інших відсотків? Наприклад: 25-й перцентиль X - це рішення для:

min_{m} E [L (m, X)]

$\min_{m} \; E[ L(m,X) ]$

Що таке $L$ у цьому випадку?

expected-value loss-functions

— Cam.Davidson.Pilon
джерело

12

Нехай $I$ є функцією індикатора: вона дорівнює $1$ для істинних аргументів, а $0$ іншому випадку. Виберіть $0\lt\alpha\lt 1$ і встановіть

Λ_{α} (x) = α x I (x \geq 0) - (1 - α) x I (x < 0) .

$\Lambda_\alpha(x)=\alpha x\, I(x\ge 0) - (1-\alpha)x\, I(x\lt 0).$

Малюнок

Ця цифра відображає $\Lambda_{1/5}$ . Він використовує точне співвідношення сторін, щоб допомогти вам оцінити схили, які дорівнюють $-4/5$ ліворуч та $+1/5$ праворуч. У цьому випадку екскурсії вище $0$ сильно зменшуються порівняно з екскурсіями нижче $0$ .

Це природна функція, яку слід спробувати, оскільки вона важить значення що перевищують інакше, ніж , які менші за . Давайте обчислимо пов’язану втрату, а потім оптимізуємо її. $x$ $0$ $x$ $0$

Написання для функції розподілу та встановлення , обчислити $F$ $X$ $L_\alpha(m,x) = \Lambda_\alpha(x-m)$

\begin{aligned} E_{F} (L_{α} (m, X)) & = \int_{R} Λ_{α} (x - m) d F (x) \\ = α \int_{R} I (x \geq m) (x - m) d F (x) - (1 - α) \int_{R} (x - m) I (x < m) d F (x) \\ = α \int_{m}^{\infty} (x - m) d F (x) - (1 - α) \int_{- \infty}^{m} (x - m) d F (x) . \end{aligned}

$\eqalign{ \mathbb{E}_F(L_\alpha(m,X))&=\int_\mathbb{R} \Lambda_\alpha(x-m)dF(x)\\ &=\alpha\int_\mathbb{R} I(x\ge m)(x-m) dF(x) - (1-\alpha)\int_\mathbb{R} (x-m)I(x\lt m) dF(x)\\ &=\alpha\int_m^\infty(x-m)dF(x) - (1-\alpha)\int_{-\infty}^m(x-m) dF(x). }$

Малюнок 2

Оскільки варіюється на цій ілюстрації зі стандартним нормальним розподілом , то загальна ймовірнісно зважена площа побудована. (Крива - графік .) Правий графік для найбільш чітко показує ефект зменшення ваги позитивних значень, оскільки без цього зменшення ваги сюжет бути симетричним щодо походження. Середній графік показує оптимум, де загальна кількість синього чорнила (що представляє ) як можна менше. $m$ $F$ $\Lambda_{1/5}$ $\Lambda_{1/5}(x-m)dF(x)$ $m=0$ $\mathbb{E}_F(L_{1/5}(m,X))\$

Ця функція є диференційованою, і тому її крайність можна виявити, оглянувши критичні точки. Застосування Chain Rule і Фундаментальний Лейбніца , щоб отримати похідний по дає $m$

\begin{aligned} \frac{\partial}{\partial m} E_{F} (L_{α} (m, X)) & = α (0 - \int_{m}^{\infty} d F (x)) - (1 - α) (0 - \int_{- \infty}^{m} d F (x)) \\ = F (m) - α . \end{aligned}

$\eqalign{ \frac{\partial}{\partial m}\mathbb{E}_F(L_\alpha(m,X))&=\alpha\left(0-\int_m^\infty dF(x)\right) - (1-\alpha)\left(0 - \int_{-\infty}^m dF(x)\right)\\ &= F(m) - \alpha. }$

Для безперервних розподілів це завжди має рішення , який, за визначенням, представляє собою будь- - квантиль . Для неперервних розподілів це може не мати рішення, але буде принаймні одне для якого для всіх і для всіх : це також (за визначенням) є - квантиль . $m$ $\alpha$ $X$ $m$ $F(x)-\alpha\lt 0$ $x\lt m$ $F(x)-\alpha\ge 0$ $x\ge m$ $\alpha$ $X$

Нарешті, оскільки і , зрозуміло, що ні ні втратять до мінімуму цю втрату. Це вичерпує перевірку критичних моментів, показуючи, що відповідає законопроекту. $\alpha\ne 0$ $\alpha\ne 1$ $m\to-\infty$ $m\to\infty$ $\Lambda_\alpha$

Як особливий випадок, - це збитки, відображені в питання. $\mathbb{E}_F(2L_{1/2}(m,X)) = \mathbb{E}_F\left(\left|m-x\right|\right)$

— дзижчати
джерело

Я ціную зусилля, які ви доклали до показу очікуваних втрат, мінімізовані правильною точкою . Мені було цікаво, як це зробити для власної відповіді, але ваше пояснення добре. (+1)

m

$m$

2

Ви довели, що фотографії вартістю 1000 слів. Дякуємо @whuber =)

— Cam.Davidson.Pilon

8

Ця стаття має свою відповідь. Щоб бути конкретним, Функція втрат може бути інтерпретована як "врівноваження" різних областей масової ймовірності приблизно через віднімання . Для медіани ці маси маси рівні: робить функцію втрат пропорційною (у очікуванні, що константа незначна) до що дає бажаний висновок для медіани.

L_{0.25} (m, X) = | (X - m) (0.25 - 1 {X > m}) | .

$L_{0.25}(m,X) = \left| \left( X - m \right) \left(0.25 - \mathbf{1}\{ X > m \} \right) \right|.$

0.25

$0.25$

0.25 - 1 {X > m}

$0.25 - \mathbf{1}\{ X > m \}$

L_{0.5} (m, X) = | (X - m) (0.5 - 1 {X > m}) | = | (X - m) \times \pm 0.5 |,

$L_{0.5}(m,X) = \left| \left( X - m \right) \left(0.5 - \mathbf{1}\{ X > m \} \right) \right| = \left| \left( X - m \right) \times \pm 0.5 \right|,$

| X - m |,

$\left| X - m\right|,$

(+1) Молодці! - не було очевидно, де шукати цю статтю у Вікіпедії; вам довелося думати про кількісну регресію.

— whuber

Дякую, @Matthew, це чудова знахідка. Мені подобається врівноважувати інтерпретацію

— Cam.Davidson.Pilon

Я досі не розумію. Звідки це походить? Якщо X вище квантилу, отримує вагу 0,75, інакше 0,25? Тільки це?

| (0.25) - 1 X > m) |

$|(0.25)-\mathbb{1}{X>m})|$

(X - m)

$(X-m)$

— IcannotFixThis