Чи високий

У статистиці ми робимо лінійні регресії, самі їх початки. Загалом ми знаємо, що чим вище тим краще, але чи колись існує сценарій, коли високий був би марною моделлю?R $R^2$$R^2$

Так. Критерії оцінки статистичної моделі залежать від конкретної проблеми і не є якоюсь механічною функцією або статистичною значимістю (хоча вони мають значення). Відповідне питання полягає в тому, "чи допомагає модель зрозуміти дані?"$R^2$

Безглузді регресії з високим $R^2$

1. Найпростіший спосіб отримати високий рівень - це зробити еквівалент регресування правого взуття на лівому взутті. Скажіть мені розмір вашого правого взуття, і я можу передбачити розмір лівого взуття з великою точністю. Величезний R 2 ! Яка чудова статистична модель! За винятком того, що це означає дивно пу. Ви можете отримати чудовий R 2 , поставивши ту саму змінну на ліву і праву частину регресії, але ця величезна регресія R 2 майже напевно була б марною.$R^2$$R^2$$R^2$$R^2$

2. Є й інші випадки, коли включення змінної з правої сторони концептуально неправильно робити (навіть якщо вона підвищує ). Скажімо, ви намагаєтесь оцінити, чи піддається дискримінація якоїсь меншини і менше шансів отримати роботу. Ви не повинні контролювати, чи відповідала компанія після виклику на роботу, оскільки менша ймовірність відповіді на заявки на роботу меншин може бути каналом, через який відбувається дискримінація! Додавання неправильного контролю може призвести до безглуздості вашої регресії.$R^2$

3. Ви завжди можете збільшити , додавши більше регресорів! Я можу продовжувати додавати регресорів до правого боку , поки я не отримати те , що R 2 Мені подобається. Щоб передбачити заробіток на роботі, я міг би додати контроль освіти, контроль за віком, квартальний фіксований ефект, поштовий індекс, фіксований ефект, фіксований ефект, фіксований ефект на сім'ї, фіксований ефект домашніх тварин, довжину волосся тощо ... перестати мати сенс, але R 2 продовжує зростати. Додавання всього як регресора відоме як регресія "кухонної мийки". Ви можете отримати високий R 2, але може значно перевищити дані: ваша модель чудово передбачає вибірку, яка використовується для оцінки моделі (має високий $R^2$$R^2$$R^2$$R^2$ ) але оціночна модель жахливо не вдається за новими даними.$R^2$

4. Ця ж ідея може проявитись при паліномічній кривій примірці. Дайте мені випадкові дані, і я, мабуть, можу отримати відмінний , встановивши поліном 200 градусів. Однак, за новими даними, поліноми, що оцінюються, не спрацюють через надмірне оснащення. Знову ж таки, високий R 2 для оцінюваної моделі, але оціночна модель марний.$R^2$$R^2$

5. Точка (3-4) тому ми скоригували , який передбачає певну штраф за додавання більшої кількості регресорів, але скоригований R 2, як правило, все ще може бути одержаний за рахунок перевищення даних. Він також має дивовижно безглузду особливість, що може перейти в негативний характер.$R^2$$R^2$

Я можу також навести приклади, коли низький - це просто добре (наприклад, оцінка бета-версії в моделях ціноутворення активів), але ця посада вже досить довга. Підводячи підсумок, загальне питання повинно бути чимось на кшталт "знаючи, що я знаю про проблему та про статистику, чи допомагає ця модель мені зрозуміти / пояснити дані?" R 2 може бути інструментом, який допоможе відповісти на це питання, але це не так просто, оскільки моделі з більш високим R 2 завжди кращі.$R^2$$R^2$$R^2$

"Вищий - краще" - це неправильне правило для R-квадрата.

Дон Моррісон кілька років тому написав кілька відомих статей, в яких продемонстрував, що R-квадрати, що наближаються до нуля, все ще можуть бути як діючими, так і прибутковими, залежно від галузі. Наприклад, при прямому маркетингу, який передбачає відповідь на підписку на журнал, що надсилає 10 мільйонів домогосподарств, R-квадрати з низькими одноцифровими кодами можуть створювати вигідні кампанії (на основі рентабельності інвестицій), якщо розсилка базується на верхніх 2 або 3 децилах відповіді. ймовірність.

Інший соціолог (чиє ім’я мені уникнуло) сегментовані R-квадрати за типом даних, зазначивши, що дослідження опитування wrt, R-квадрати в діапазоні 10-20% були нормою, тоді як для бізнес-даних R-квадрати в межах 40-60% слід було очікувати. Вони також зауважували, що R-квадрати 80-90% або більше, ймовірно, порушували основні припущення щодо регресії. Однак у цього автора не було досвіду роботи з маркетинговою сукупністю, даними часових рядів або моделями, що містять повний набір "причинно-наслідкових" функцій (наприклад, класичний 4 "Ps" ціни, реклами, місця та продукту), які можуть і виробляти R- квадрати наближаються до 100%.

Це сказало, навіть розумне, тематичні правила порівняльного аналізу, такі як ці, не дуже корисні при роботі з технічно неграмотними, чиїм першим питанням щодо прогностичної моделі завжди буде: "Що таке R-квадрат?"

Інші відповіді пропонують великі теоретичні пояснення багатьох способів значення R-квадрата можна виправити / підробити / ввести в оману / тощо. Ось практична демонстрація, яка завжди трималася зі мною, зашифрована r:

y <- rnorm(10)
x <- sapply(rep(10,8),rnorm)
summary(lm(y~x))

Це може забезпечити значення R-квадрата> 0,90. Додайте достатню кількість регресорів і навіть випадкові значення можуть "передбачити" випадкові значення.