Коли квантильна регресія гірша за OLS?

22

Окрім деяких унікальних обставин, коли ми абсолютно повинні розуміти умовно-середній взаємозв'язок, які існують ситуації, коли дослідник повинен обрати OLS над квантильною регресією?

Я не хочу, щоб відповідь була "якщо немає користі в розумінні хвостових відносин", оскільки ми могли просто використовувати середню регресію в якості замінника OLS.

— Френк Харрелл
джерело

4

Я думаю, що більшість дослідників розважатимуться як за OLS, так і для кількісної регресії; відмінності між методами засвітили б те, що ви намагаєтеся моделювати. Що стосується OLS, якщо ви закидаєте припущення щодо нормальності, ви отримуєте багато досить добре задокументованих та ретельних методологій тестування, які доступні в більшості статистичних пакетів.

— Джонатан Лисич

18

Якщо вас цікавить середнє значення, використовуйте OLS, якщо в медіані, використовуйте квантил.

Одна велика різниця полягає в тому, що на середню більше впливають люди, що втратили чужих людей, та інші крайні дані. Іноді, це те, що ти хочеш. Один із прикладів, якщо ваша залежна змінна - соціальний капітал у сусідстві. Присутність однієї людини з великою кількістю соціального капіталу може бути дуже важливою для всього мікрорайону.

— Пітер Флом - Відновити Моніку
джерело

6

Дозвольте мені оскаржити ваше перше речення. І OLS, і квантильна регресія (QR) оцінюють для процесу генерації даних . Якщо розподіл помилок має важкі хвости, є більш ефективним, ніж . Незалежно від того, який момент умовного розподілу нас цікавить, нам слід скористатись ефективнішим з та .

β

$\beta$

y = X β + ε

$y=X\beta+\varepsilon$

{\hat{β}}^{Q R}

$\hat\beta^{QR}$

{\hat{β}}^{O L S}

$\hat\beta^{OLS}$

P (y | X)

$P(y|X)$

{\hat{β}}^{O L S}

$\hat\beta^{OLS}$

{\hat{β}}^{Q R}

$\hat\beta^{QR}$

— Річард Харді

Наслідуючи критику @RichardHardy щодо цієї відповіді, медіана є лише одним із кількісних показників, які можна оцінити. У цьому документі Hyndman вводиться підхід, який він називає підвищенням аддитивної квантильної регресії, яка досліджує повний спектр квантових даних, прогнозування невизначеності електроенергії за допомогою інтелектуальних лічильників шляхом підвищення аддитивного квантильного регресу ( ieeexplore.ieee.org/document/7423794 ).

— Майк Хантер

15

Здається, в передумовленні питання виникає плутанина. У другому абзаці сказано, "ми могли просто використовувати середню регресію як замінник OLS". Зауважимо, що регресування умовної медіани на X є (формою) квантильної регресії.

Якщо помилка в базовому процесі генерації даних зазвичай розподіляється (що можна оцінити, перевіривши, чи є залишки нормальними), тоді умовне середнє значення дорівнює умовної медіані. Крім того, будь-який квантил, який може вас зацікавити (наприклад, 95-й перцентиль або 37-й перцентиль), можна визначити для даної точки в розмірі X за допомогою стандартних методів OLS. Основне заклик квантової регресії полягає в тому, що вона є більш надійною, ніж OLS. Мінус полягає в тому, що якщо всі припущення будуть виконані, воно буде менш ефективним (тобто для досягнення тієї ж потужності вам знадобиться більший розмір вибірки / ваші оцінки будуть менш точними).

— gung - Відновити Моніку
джерело

12

$\beta$

у = Х β + ε

$y = X\beta + \varepsilon$

$\hat\beta_{QR}$ $\hat\beta_{OLS}$ $\hat\beta_{OLS}$ $P_Y(y|X)$ $\hat\beta_{OLS}$ $\hat\beta_{QR}$

$\hat\beta_{OLS}$ $\hat\beta_{QR}$ $\hat\beta_{OLS}$ $\hat\beta_{QR}$

Список літератури:

Коенкер, Роджер та Гілберт Бассет-молодший "Квантові регресії". Econometrica: Журнал Економетричного товариства (1978): 33-50.

— Річард Харді
джерело

3

У Пітера Флома була чудова і лаконічна відповідь, я просто хочу її розширити. Найважливіша частина питання - як визначити «гірше».

Для того, щоб визначити гірше, нам потрібно мати деякі показники, а також функцію для обчислення того, наскільки гарні чи погані арматури називаються функціями втрат.

Ми можемо мати різні визначення функції втрати, і в кожному визначенні немає правильного чи неправильного, але різні визначення задовольняють різні потреби. Дві добре відомі функції втрат - це збиток у квадраті та абсолютна величина.

L_{с q} (у, \hat{у}) = \sum_{i} (у_{i} - {\hat{у}}_{i})^{2}

$L_{sq}(y,\hat y)=\sum_i (y_i-\hat y_i)^2$

L_{а б с} (у, \hat{у}) = \sum_{i} | у_{i} - {\hat{у}}_{i} |

$L_{abs}(y,\hat y)=\sum_i |y_i-\hat y_i|$

Якщо ми використаємо квадратичні збитки як міру успіху, квантильна регресія буде гіршою, ніж OLS. З іншого боку, якщо ми будемо використовувати абсолютні втрати величини, квантильна регресія буде кращою.

Яка відповідь Пітера Фолма:

Якщо вас цікавить середнє значення, використовуйте OLS, якщо в медіані, використовуйте квантил.

— Хайтао Ду
джерело

Я думаю, що ваш приклад може бути оманливим, оскільки він стосується примірної вибірки (що представляє малий інтерес, оскільки ми вже прекрасно знаємо наш зразок), а не очікуваної втрати для нових спостережень (коли мета прогнозування) або втрати оцінки вектора параметрів ( коли мета - пояснення). Дивіться, можливо, прокоментуйте відповідь Пітера Флома та мою відповідь для отримання більш детальної інформації.

— Річард Харді

3

$Y$ $\frac{2}{\pi}$

Якщо ви хочете оцінити середнє значення, ви не можете отримати це з кількісної регресії.

Якщо ви хочете оцінити середнє та квантове значення з мінімальними припущеннями (але більше припущень, ніж квантильної регресії), але маєте більшу ефективність, використовуйте напівпараметричну порядкову регресію. Це також дає ймовірність перевищення. Детальний випадок є в моїх примітках курсу RMS, де на одному наборі даних показано, що середня середня абсолютна помилка оцінки за декількома параметрами (квантовими і середніми) досягається порядковою регресією. Але для просто оцінки середнього значення OLS є найкращим, а для просто оцінки квантилів - квантильною регресією.

$Y$

— Френк Харрелл
джерело