Квантильна регресія: функція втрати

Я намагаюся зрозуміти кількісну регресію, але одне, що змушує мене страждати, - це вибір функції втрати.

$\rho_\tau(u) = u(\tau-1_{\{u<0\}})$

Я знаю, що мінімум очікування $\rho_\tau(y-u)$ дорівнює $\tau\%$ -квантилу, але яка інтуїтивна причина починати з цієї функції? Я не бачу зв'язку між мінімізацією цієї функції та кількісною. Може хтось мені це пояснить?

Я розумію це питання як прохання зрозуміти, як можна було б створити будь-яку функцію втрат, яка виробляє даний квантил як мінімізатор втрат, незалежно від того, яким може бути базовий розподіл. Тоді було б незадовільно просто повторити аналіз у Вікіпедії чи деінде, що показує, що ця функція втрат працює.

Почнемо з чогось звичного і простого.

Те , що ви говорите це знайти «місце розташування» щодо розподілу або набору даних F . Наприклад, добре відомо, що середнє значення ˉ x мінімізує очікуваний залишковий квадрат; тобто це значення, для якого$x^{*}$$F$$\bar x$

$$\mathcal{L}_F(\bar x)=\int_{\mathbb{R}} (x - \bar x)^2 dF(x)$$

якомога менше. Я використав це позначення, щоб нагадати, що походить від втрати , що вона визначається F , але найголовніше, що це залежить від числа ˉ x .$\mathcal{L}$$F$$\bar x$

Стандартний спосіб показати, що мінімізує будь-яку функцію, починається з демонстрації, що значення функції не зменшується, коли x ∗ незначно змінюється. Таке значення називається критичною точкою функції.$x^{*}$$x^{*}$

Яка функція втрати призведе до того, що перцентиль F - 1 ( α ) стане критичною точкою? Збиток для цієї вартості буде$\Lambda$$F^{-1}(\alpha)$

$$\mathcal{L}_F(F^{-1}(\alpha)) = \int_{\mathbb{R}} \Lambda(x-F^{-1}(\alpha))dF(x)=\int_0^1\Lambda\left(F^{-1}(u)-F^{-1}(\alpha)\right)du.$$

Щоб це було критичним моментом, його похідна повинна дорівнювати нулю. Так як ми просто намагаємося знайти якийсь - то рішення, ми не зупинимося , щоб побачити чи маніпуляції законні: ми плануємо перевірити технічні деталі (наприклад, чи дійсно ми можемо диференціювати , і т.д. ) в кінці. Таким чином$\Lambda$

$$\eqalign{0 &=\mathcal{L}_F^\prime(x^{*})= \mathcal{L}_F^\prime(F^{-1}(\alpha))= -\int_0^1 \Lambda^\prime\left(F^{-1}(u)-F^{-1}(\alpha)\right)du \\ &= -\int_0^{\alpha} \Lambda^\prime\left(F^{-1}(u)-F^{-1}(\alpha)\right)du -\int_{\alpha}^1 \Lambda^\prime\left(F^{-1}(u)-F^{-1}(\alpha)\right)du.\tag{1} }$$

У лівій частині аргумент негативний, тоді як у правій - позитивний. Крім цього, ми мало контролюємо значення цих інтегралів, оскільки F може бути будь-якою функцією розподілу. Отже , наша єдина надія полягає в тому, щоб зробити Л ' залежить тільки від знака аргументу, а в іншому випадку вона повинна бути постійною.$\Lambda$$F$$\Lambda^\prime$

Це означає, що буде кусочно лінійним, потенційно з різними нахилами ліворуч та праворуч від нуля. Зрозуміло, що вона повинна зменшуватися, коли наближається до нуля - це врешті-решт втрата, а не вигода . Крім того, масштабування Λ постійною не змінить її властивостей, тому ми можемо сміливо встановити нахил лівої руки на - 1 . Нехай τ > 0 - нахил правої руки. Тоді ( 1 ) спрощується до$\Lambda$$\Lambda$$-1$$\tau \gt 0$$(1)$

$$0 = \alpha - \tau (1 - \alpha),$$

звідси унікальне рішення - до позитивного кратного,

$$\Lambda(x) = \cases{-x, \ x \le 0 \\ \frac{\alpha}{1-\alpha}x, \ x \ge 0.}$$

Помноживши це (природне) рішення на , щоб очистити знаменник, виробляється функція втрат, представлена ​​у запитанні.$1-\alpha$

Очевидно, що всі наші маніпуляції є математично законними, коли має таку форму. $\Lambda$

Те, як ця функція втрати виражається, є приємною та компактною, але я думаю, що її легше зрозуміти, переписавши її як

$$\rho_\tau(X-m) = (X-m)(\tau-1_{(X-m<0)}) = \begin{cases} \tau |X-m| & if \; X-m \ge 0 \\ (1 - \tau) |X-m| & if \; X-m < 0) \end{cases}$$

Якщо ви хочете отримати інтуїтивне розуміння того, чому мінімізація цієї функції втрат дає $\tau$ й кількісний показник, корисно розглянути простий приклад. Нехай $X$ - рівномірна випадкова величина між 0 і 1. Виберемо також конкретне значення для $\tau$ , скажімо, $0.25$ .

$m=0.25$$m$$\tau$