Які є найпоширеніші помилки щодо лінійної регресії?

Мені цікаво, для тих із вас, хто має великий досвід співпраці з іншими дослідниками, які найпоширеніші помилки щодо лінійної регресії, з якими ви стикаєтесь?

Я думаю, може бути корисною вправою, щоб заздалегідь подумати про поширені помилки, щоб це зробити

1. Передбачте помилки людей і зможете успішно сформулювати, чому деякі неправильні уявлення невірні

2. Зрозумійте, чи я сам домагаюся якихось помилок!

Кілька основних, про які я можу придумати:

Незалежні / залежні змінні повинні бути нормально розподілені

Змінні повинні бути стандартизовані для точного тлумачення

Будь-які інші?

Усі відповіді вітаються.

Помилкова передумова: A означає, що між DV та IV немає міцного зв’язку. $\hat{\beta} \approx 0$
Нелінійних функціональних зв'язків багато, і все ж дані, отримані багатьма такими співвідношеннями, часто створюють майже нульові нахили, якщо припускати, що зв'язок повинен бути лінійним або навіть приблизно лінійним.

Так само в іншому помилковому передумові дослідники часто припускають - можливо, тому що багато вступних регресійних підручників навчають - що один "тести на нелінійність", будуючи ряд регресій DV на поліноміальних розширеннях IV (наприклад, , далі , далі від$Y \sim \beta_{0} + \beta_{X}X + \varepsilon$$Y \sim \beta_{0} + \beta_{X}X + \beta_{X^{2}}X^{2} + \varepsilon$$Y \sim \beta_{0} + \beta_{X}X + \beta_{X^{2}}X^{2} + \beta_{X^{3}}X^{3} + \varepsilon$тощо). Подібно до того, як пряма лінія не може добре представляти нелінійну функціональну залежність між DV та IV, парабола не може добре представляти нескінченну кількість нелінійних зв’язків (наприклад, синусоїди, циклоїди, ступінчасті функції, ефекти насичення, s-криві та ін. Ad infinitum ). Натомість можна скористатись регресійним підходом, який не передбачає особливої ​​функціональної форми (наприклад, згладжувачі бігових ліній, GAM тощо).

Третя помилкова передумова в тому , що збільшення числа оцінюваних параметрів обов'язково призводить до втрати статистичної потужності. Це може бути помилковим, коли справжній зв'язок нелінійний і вимагає декількох параметрів для оцінки (наприклад, функція "зламана палиця" вимагає не тільки умов перехоплення та нахилу прямої лінії, але вимагає точки, в якій змінюється нахил і скільки нахил змінюється на оцінки також): залишки неправильно визначеної моделі (наприклад, прямої лінії) можуть зростати досить великими (відносно правильно заданого функціонального відношення), що призводить до зниження ймовірності відхилення та більш широких інтервалів довіри та інтервалів прогнозування (на додаток до упереджених оцінок) .

Дуже часто припускати, що лише дані підлягають помилці вимірювання (або принаймні, що це єдина помилка, яку ми врахуємо). Але це ігнорує можливість - і наслідки - помилки в вимірюваннях. Це може бути особливо гострим у спостережних дослідженнях, коли змінні не знаходяться під експериментальним контролем.$y$$x$$x$

Розведення регресії або ослаблення регресії - це явище, визнане Spearman (1904), згідно з яким оцінений нахил регресії у простому лінійному регресії зміщується до нуля наявністю похибки вимірювання в незалежній змінній. Припустимо, що справжній нахил є позитивним - ефект тремтіннякоординатточок(можливо, найпростіше візуалізується як "розмивання" точок по горизонталі) полягає в тому, щоб лінія регресії була менш крутою. Інтуїтивно зрозуміло, що точки з великимтепер, швидше, так і є через позитивну похибку вимірювання, тоді якзначенняшвидше відображає справжнє (без помилок) значення, а значить, буде нижчим, ніж істинна лінія буде для спостережуваного$x$$x$$y$$x$$x$ .

У більш складних моделях похибка вимірювання в змінних може дати більш складні ефекти на оцінку параметрів. У моделях змінних є помилки, які враховують таку помилку. Спірман запропонував поправочний коефіцієнт для розслаблення коефіцієнтів кореляції біваріантів та інші коригуючі фактори були розроблені для більш складних ситуацій. Однак такі виправлення можуть бути важкими - особливо у випадку багатоваріантності та в присутності плутанини - і може бути суперечливим, чи виправлення є справжнім поліпшенням (див., Наприклад, Smith and Phillips (1996)).$x$

Тому я вважаю , що це два омани за ціною одного - з одного боку , це є помилкою думати , що шлях ми пишемо означає «все помилки в » і ігнорувати дуже фізично реальна можливість помилок вимірювання в незалежних змінних. З іншого боку, може бути недоцільним сліпо застосовувати "виправлення" для помилки вимірювання у всіх таких ситуаціях, як відповідь на коліна (хоча, в першу чергу, може бути корисно вжити заходів для зменшення помилки вимірювання) .$y = X\beta + \varepsilon$$y$

(Я, мабуть, я також повинен посилатися на деякі інші поширені моделі помилок у змінних, у все більш загальному порядку: ортогональна регресія , регресія Демінга та загальні найменші квадрати .)

Список літератури

• Smith, GD, & Phillips, AN (1996). " Інфляція в епідеміології:" переглянуті докази та вимірювання зв'язку між двома речами ". Британський медичний журнал , 312 (7047), 1659–1661.

• Спірмен, С. (1904). "Доказ та вимірювання зв'язку між двома речами". Американський журнал психології 15 : 72–101.

Існують деякі стандартні непорозуміння, що застосовуються в цьому контексті, а також інші статистичні контексти: наприклад, значення -значень, неправильно випливає причинність тощо. $p$

Пару непорозумінь, які, на мою думку, стосуються багаторазового регресу, є:

1. Думаючи, що змінна з більшим оціненим коефіцієнтом та / або меншим значенням "важливіша". $p$
2. Думаючи, що додавання більшої кількості змінних до моделі наближає вас до істини. Наприклад, нахил від простої регресії на може не бути справжньою прямою залежністю між і , але якщо я додаю змінні , цей коефіцієнт буде кращим представленням справжнього зв'язку, і якщо я додаю , це буде навіть краще за це. $Y$$X$$X$$Y$$Z_1, \ldots, Z_5$$Z_6, \ldots, Z_{20}$

Я б сказав, що перший, який ви перераховуєте, - це, мабуть, найпоширеніший - і, можливо, найбільш широко вчений таким чином - з речей, які, очевидно, вважаються неправильними, але ось деякі інші, які менш зрозумілі в деяких ситуаціях ( чи дійсно вони застосовуються), але це може вплинути на ще більше аналізів, а можливо, і більш серйозно. Вони часто просто не згадуються при введенні регресу.

• Трактування як випадкових вибірок із сукупності, що представляють інтерес, спостережень, які не можуть бути близькими до репрезентативних (не кажучи вже про випадкові вибірки). [Деякі дослідження замість цього можна розглядати як щось наближене до зручності зразків]

• Маючи дані спостереження, просто ігноруючи наслідки відмови від важливих драйверів процесу, які, безумовно, зміщують оцінки коефіцієнтів включених змінних (у багатьох випадках навіть, ймовірно, змінюючи їхню ознаку), не намагаючись розглянути способи вирішення з ними (чи то через незнання проблеми, чи просто не знаючи, що щось можна зробити). [У деяких дослідницьких областях ця проблема є більшою мірою, ніж в інших, чи то через тип даних, які збираються, чи тому, що люди в деяких областях застосування, швидше за все, вчили про цю проблему.]

• Помилкова регресія (в основному з даними, зібраними з часом). [Навіть коли люди знають, що це трапляється, існує ще одне поширене неправильне уявлення, що достатньо просто розмежування на передбачуване стаціонарне, щоб повністю уникнути проблеми.]

Існує багато інших, про які можна було б згадати, звичайно (наприклад, трактування як незалежних даних, які майже напевно будуть послідовно співвіднесені або навіть інтегровані, може бути настільки ж поширеними, наприклад).

Ви можете помітити, що спостережливі дослідження даних, зібраних з часом, можуть потрапити відразу на все це ... все ж таке дослідження дуже поширене в багатьох областях досліджень, де регресія є стандартним інструментом. Те, як вони можуть потрапити до публікації, коли жоден рецензент чи редактор не знає про принаймні одного з них і, принаймні, вимагає певного рівня відмови у висновках, продовжує мене хвилювати.

Статистика загрожує проблемами невідтворюваних результатів при роботі з досить ретельно контрольованими експериментами (у поєднанні з, можливо, не так ретельно контрольованими аналізами), тож як тільки один крок вийде за ці межі, наскільки гіршою повинна бути ситуація відтворення?

Я, мабуть, не назвав би ці помилки, але, можливо, загальні точки плутанини / перерви, а в деяких випадках проблеми, про які дослідники можуть не знати.

• Мультиколінеарність (у тому числі у випадку з величиною змінних, ніж точки даних)
• Гетероскедастичність
• Чи не залежать від значення незалежних змінних шум
• Наскільки масштабування (чи не масштабування) впливає на інтерпретацію коефіцієнтів
• Як поводитися з даними з декількох предметів
• Як боротися з послідовними кореляціями (наприклад, часовий ряд)

З боку помилкового уявлення про речі:

• Що означає лінійність (наприклад, це нелінійна wrt , а лінійна wrt ваги).$y = ax^2 + bx + c$$x$
• Цей «регресія» означає звичайні найменші квадрати або лінійну регресію
• Цей низький / високий вага обов'язково передбачає слабкі / міцні зв’язки із залежною змінною
• Ця залежність між залежною та незалежною змінними обов'язково може бути зведена до парних залежностей.
• Ця висока придатність на тренувальному наборі передбачає хорошу модель (тобто нехтування переодяганням)

З мого досвіду, студенти часто сприймають думку про те, що помилки в квадраті (або регресія OLS) є по суті належними, точними та загалом хорошими справами для використання або навіть без альтернативи. Я часто бачив рекламу OLS разом із зауваженнями про те, що він "надає більшої ваги більш екстремальним / девіантним спостереженням", і більшу частину часу принаймні мається на увазі, що це бажана властивість. Це поняття може бути змінено пізніше, коли буде застосовано поводження з вихованими людьми та надійні підходи, але в цей момент шкода робиться. Можливо, широке використання помилок у квадраті історично більше пов'язане з їх математичною зручністю, ніж із деяким природним законом реальних витрат на помилки.

Загалом, більший акцент можна зробити на розумінні того, що вибір функції помилок є дещо довільним. В ідеалі будь-який вибір штрафу в алгоритмі повинен керуватися відповідною функцією витрат у реальному масштабі, пов'язаною з потенційною помилкою (тобто, використовуючи рамки прийняття рішень). Чому б спочатку не встановити цей принцип, а потім подивитися, наскільки добре ми можемо зробити?

Ще одна поширена помилкова думка полягає в тому, що термін помилки (або порушення в економетричній мові) і залишки - це одне і те ж.

Термін помилки є випадковою змінною в істинній моделі або в процесі генерування даних , і зазвичай вважається, що вона відповідає певному розподілу, тоді як залишки - це відхилення спостережуваних даних від пристосованої моделі. Таким чином, залишки можна вважати оцінками помилок.

Найпоширеніша помилка, з якою я стикаюся, полягає в тому, що лінійна регресія передбачає нормальність помилок. Це не так. Нормальність корисна у зв'язку з деякими аспектами лінійної регресії, наприклад, малі властивості вибірки, такі як довірчі межі коефіцієнтів. Навіть для цих речей є асимптотичні значення, доступні для не нормальних розподілів.

Другий найпоширеніший - це скупчення плутанини щодо ендогенності, наприклад, не бути обережними з циклами зворотного зв'язку. Якщо є зворотний зв'язок від Y назад до X, це проблема.

Помилка, яку я зробив, - це припустити симетричність X і Y в OLS. Наприклад, якщо я припускаю лінійне відношення з a і b, задане моїм програмним забезпеченням за допомогою OLS, то я вважаю, що припускаючи, що X як функція Y, дасть використання OLS коефіцієнти: це неправильно.

Можливо, це також пов’язано з різницею між OLS та загальним найменшим квадратним чи першим головним компонентом.

Я часто бачив помилкове уявлення про застосування лінійної регресії в певних випадках використання на практиці.

Наприклад, скажімо, що змінна, яка нас цікавить, - це чисельність (наприклад, відвідувачів на веб-сайті) або співвідношення чогось (наприклад: коефіцієнти конверсії). У таких випадках змінна може бути краще змодельована за допомогою функцій зв’язку, таких як Пуассон (рахунки), Бета (співвідношення) тощо. Отже, використання узагальненої моделі з більш відповідною функцією зв'язку є більш підходящим. Але тільки тому, що змінна не є категоричною, я бачив людей, починаючи з простої лінійної регресії (функція зв'язку = ідентичність). Навіть якщо ми нехтуємо наслідками точності, припущення щодо моделювання тут є проблемою.

Ось я думаю, що дослідники часто не помічають:

• Змінна взаємодія: дослідники часто розглядають поодинокі бета-файли окремих прогнозів і часто навіть не вказують терміни взаємодії. Але в реальному світі речі взаємодіють. Без належного уточнення всіх можливих умов взаємодії ви не знаєте, як ваші «передбачувачі» беруть участь у формуванні результату. І якщо ви хочете бути старанними та уточнити всі взаємодії, кількість прогнозів вибухне. З моїх розрахунків ви можете дослідити лише 4 змінні та їх взаємодію зі 100 предметами. Якщо ви додасте ще одну змінну, ви можете легко доповнити її.

Інша поширена помилкова думка полягає в тому, що оцінки (встановлені значення) не є інваріантними для перетворень, наприклад

у я = → х Т я

Якщо ви хочете, щоб монотонні функції не були обов'язково лінійними, то вам потрібно кількісна регресія.$f(\cdot)$

Вищена рівність у лінійній регресії для лінійних функцій, але для нелінійних функцій (наприклад, ) це не буде виконано. Однак це буде справедливо для будь-якої монотонної функції в квантильній регресії.$log(\cdot)$

Це з’являється весь час, коли ви робите журнал перетворення своїх даних, підганяєте лінійну регресію, потім експонуєте пристосоване значення і люди читають це як регресію. Це не означає, це медіана (якщо речі справді розподіляються звичайно в журналі).