Як “працює” кількісна регресія?

Я сподіваюся отримати інтуїтивне, доступне пояснення кількісної регресії.

Скажімо, у мене простий набір результатів $Y$ та прогнози $X_1, X_2$ .

Наприклад, якщо я запускаю квантильну регресію в .25, .5, .75 і повертаюсь $\beta_{0,.25},\beta_{1,.25}...\beta_{2,.75}$ .

Чи знаходять значення $\beta$ простим упорядкуванням значень $y$ та виконанням лінійної регресії на основі прикладів, що знаходяться в / біля даного квантиля?

Або всі зразки вносять внесок у $\beta$ оцінки, зі зменшенням ваги, у міру збільшення відстані від квантиля?

Або це щось зовсім інше? Я ще повинен знайти доступне пояснення.

quantile-regression

— Джеремі
джерело

Щодо математики, ви можете скористатися цими двома відповідями: stats.stackexchange.com/questions/102906/… , stats.stackexchange.com/questions/88387/…

— Енді

Відповіді:

Вихідним моментом є спостереження, що медіана набору даних мінімізує суму абсолютних помилок . Тобто квантил 50% - це рішення певної проблеми оптимізації (щоб знайти значення, яке мінімізує суму абсолютних помилок).
З цього легко знайти, що будь-який -квантиль є рішенням конкретної задачі мінімізації, а саме мінімізувати суму асиметрично зважених абсолютних помилок з вагами, які залежать від . $\tau$ $\tau$
Нарешті, щоб зробити крок до регресії, ми моделюємо рішення цієї задачі мінімізації як лінійну комбінацію змінних предиктора, тому тепер проблема полягає у пошуку не одного значення, а набору параметрів регресії.

Тож ваша інтуїція цілком правильна: усі зразки вносять свій внесок у оцінки, з асиметричними вагами залежно від квантилу ми прагнемо. $\beta$ $\tau$

— С. Коласа - Відновлення Моніки
джерело

Що стосується вашого пункту 1), чи це не буде правдивим лише за умови, що Y симетрично розподілений? Якщо Y перекошений як {1, 1, 2, 4, 10}, медіана 2, безумовно, не зведе до мінімуму абсолютну помилку. Чи квантильна регресія завжди передбачає, що Y симетрично розподілений? Спасибі!

— Бен

@Ben: ні, симетрія не потрібна. Ключовим моментом є те, що медіана мінімізує очікувану абсолютну помилку. Якщо у вас дискретний розподіл зі значеннями 1, 2, 4, 10 та ймовірностями 0,4, 0,2, 0,2, 0,2, то підсумок точок 2 дійсно мінімізує очікувану абсолютну помилку. Моделювання - це лише кілька рядків коду R:

foo <- sample(x=c(1,2,4,10),size=1e6,prob=c(.4,.2,.2,.2),replace=TRUE); xx <- seq(1,10,by=.1); plot(xx,sapply(xx,FUN=function(yy)mean(abs(yy-foo))),type="l")

— С. Коласа - Відновлення Моніки

(І так, я мав би бути чіткішим у своїй відповіді, замість того, щоб обговорювати "суми".)

— С. Коласа - Відновіть Моніку

Дерп. Про що я думав. Це має сенс зараз, дякую.

— Бен

Основна ідея кількісної регресії випливає з того, що аналітик зацікавлений у розподілі даних, а не просто середніх даних. Почнемо із середнього.

Середня регресія відповідає лінії виду середньому значенню даних. Іншими словами, . Загальний підхід для оцінки цієї лінії використовує метод найменшого квадрату, . $y=X\beta$ $E(Y|X=x)=x\beta$ $\arg\min_\beta (y-x\beta)'(y-X\beta)$

З іншого боку, середня регресія шукає лінію, яка очікує, що половина даних знаходиться на сторонах. У цьому випадку цільовою функцією є де є першою нормою. $\arg\min_\beta |y-X\beta|$ $|.|$

Розширення ідеї про медіану до квантилію призводить до квантильної регресії. Ідея полягає в тому, щоб знайти лінію, що відсоток даних виходить за межі цього. $\alpha$

Тут ви зробили невелику помилку, Q-регресія - це не так, як знайти квантил даних, а потім підібрати рядок до цього підмножини (або навіть межі, яка є більш складною).

$\alpha$

{\hat{β}}_{α} = \arg min_{β} {α | y - X β | I (y > X β) + (1 - α) | y - X β | I (y < X β)} .

$\hat\beta_\alpha=\arg\min_\beta \bigg\{\alpha |y-X\beta| I(y>X\beta) + (1-\alpha) |y-X\beta|I(y<X\beta)\bigg\}.$

Як бачите, ця розумна цільова функція - це не що інше, як переклад квантиля на проблему оптимізації.

$\beta_\alpha$

— TPArrow
джерело

Ця відповідь геніальна.

— Jinhua Wang