Зрозуміло, що проблема добре підходить для лінійної регресії

Я вивчаю лінійну регресію, використовуючи Вступ до лінійного регресійного аналізу Монтгомері, Пека та Вінінга . Я хотів би вибрати проект аналізу даних.

Я наївно вважаю, що лінійна регресія підходить лише тоді, коли можна підозрювати, що між пояснювальними змінними та змінною відповіді існують лінійні функціональні зв'язки. Але, здається, не багато додатків у реальному світі відповідають цьому критерію. Однак лінійна регресія настільки поширена.

Про які аспекти проекту думає досвідчений статистик, якби вони опинилися в моєму взутті, шукаючи питання + дані, які добре підходять для лінійної регресії.

Я наївно вважаю, що лінійна регресія підходить лише тоді, коли можна підозрювати, що між пояснювальними змінними та змінною відповіді існують лінійні функціональні зв'язки. Але, здається, не багато додатків у реальному світі відповідають цьому критерію.

Це неправильне розуміння того, що є "лінійним" у "лінійній регресії".

Це не стосунок між та 's, який вважається лінійною формою (хоча всі елементарні приклади можуть вас ввести в оману).$y$$x$

"Лінійна" відноситься до лінійної моделі в параметрах, і нелінійні співвідношення між та деяким можна, безумовно, змоделювати таким чином.$y$$x$

Там приклад з одним провісником тут , але криволінійні моделі частіше встановлені в якості множинної регресії, де кілька функцій провісника (х змінного, незалежні змінного) можуть мати місце в регресії, і це дозволяє більшу гнучкість. Це включає, наприклад, поліноміальну регресію. Дивіться деякі дискусії та приклади тут .

Однак, якщо допустити той факт, що предиктори можуть бути перетворені, щоб відповідати вигнутим співвідношенням, лінійність параметрів також відповідає лінійності в цих трансформованих прогнозах.

Крім того, багато проблем близькі до лінійних (принаймні, за діапазон значень, що розглядаються), або настільки галасливі, що будь-яка легка кривизна не помітна, і може зробитися безліч простих моделей для збільшення або зменшення відносин - і в такому випадку лінійний вибір може бути і адекватним, і найпростішим, щоб підходити і розуміти.

Про які аспекти проекту думає досвідчений статистик, якби вони опинилися в моєму взутті, шукаючи питання + дані, які добре підходять для лінійної регресії.

Єдиний раз, коли я можу шукати проблему, щоб застосувати регресію, коли б я намагався знайти хороший приклад для навчання. Перебуваючи фактично в положенні робити статистичну роботу (а не пояснювати її чи викладати її), я вибираю методологію відповідно до питання, що цікавить (та характеристику даних), а не вибираю дані відповідно до методу.

Уявіть, наприклад, столяра. Тесляр не бере рукоятку і каже "на чому я можу це використати ?". Швидше тесляр має вирішити проблему, і при розгляді характеристик проблеми ("що я намагаюсь зробити?" Та "яку деревину я використовую?" І так далі ...) можуть бути конкретні інструменти релевантніші за інші. Іноді інструменти, які доступні , можуть обмежувати або направляти вибір (якщо ви не маєте в скобель, ви , можливо , доведеться робити з чим - то іншим ... або ви можете просто піти купити скобель).

Однак припустимо, що у вас є кишеньковий статистик, який допомагає вам , і ви намагаєтеся знайти проблему, відповідну лінійній регресії. Тоді вони можуть запропонувати вам розглянути різні припущення щодо регресії та коли вони мають значення. Я згадаю кілька речей.

Якщо ви просто зацікавлені у встановленні відносин між y та деяким однозначним (можливо, трансформованим) x, більшість припущень для вас не обов'язково мають значення (теорема Гаусса-Маркова може мати певне значення). Ви шукаєте випадок, коли ви думаєте, що приблизно лінійний у для деякого - відомого - (тобто передбачає, що ми знаємо функціональну форму відносин, яку ми хочемо) . Пишучи , нам потрібно, щоб було принаймні приблизно істинним.$E(y|g(x))$$g(x)$$g$$x^*=x$$E(y|x^*)=a+bx*$

Якщо ви можете скористатися множинною регресією, навіть це не є особливо важливою проблемою, оскільки можна використовувати (наприклад) кубічні регресійні сплайси, щоб відповідати досить загальним відносинам.

Я б пропонував вам уникати даних із часом, якщо ви не розумієте проблем із помилковою регресією; палиця з проблемами поперечного перерізу.

Якщо ви маєте справу лише з одним я сподіваюся, що ви хочете безперервний, а не категоричний .$x$$x$

Ви не хочете мати помилку вимірювання в якщо ви не зацікавлені в умові очікування вимірюваного значення.$x$

Якщо ви зацікавлені в тестуванні гіпотез, довірчих інтервалів або інтервалів прогнозування, можливо, більшість звичайних регресійних припущень можуть мати значення (але є альтернативи, які не роблять цих припущень, а в деяких випадках принаймні деякі припущення не можуть все одно бути особливо важливим).

Отож, хоча б спробувати бути в курсі, це те, що ці припущення зроблені при виведенні інфекційних процедур, які ви використовуєте, і наскільки вони можуть бути важливими для вашої конкретної проблеми (як приклад, під час виконання звичайних тестів на гіпотези, нормальність - це припущення, але для великих зразків це припущення може не бути важливим; з іншого боку, припущення про постійну дисперсію може бути більшою проблемою).

Є ряд публікацій, в яких обговорюються припущення про регресію, а також деякі публікації, які обговорюють, коли їх взагалі потрібно зробити, і скільки вони можуть мати значення, і навіть про те, в якому порядку їх розглядати.

На додаток до відмінних відповідей вище, існують загальні вимоги до лінійної моделі досить добре працювати, в основному , пов'язані з . потрібно добре поводитись у сенсі відсутності екстремальних значень, які надмірно впливатимуть на відповідність моделі. По-друге, потрібно, на щастя, перетворити так, щоб модель мала надію на добавку і таким чином, що залишки будуть гауссовими (якщо робити висновки). Аналітики часто помиляються, намагаючись більше 2 перетворень задовольнити припущення моделей, що спотворює остаточний висновок. Більш простий спосіб сказати це - нам потрібно вже зрозуміти розподіл (умовноY Y Y Y $Y$$Y$$Y$$Y$$Y$$X$) добре. За багаторічний досвід ви побачите, що певні змінні, такі як артеріальний тиск, як правило, добре поводяться в лінійній моделі, а інші (наприклад, вимірювання хімії крові) цього не роблять.

Все це на відміну від напівпараметричних моделей, які тільки припускають, що є порядковими, повністю стійкі до дивних значень, і не хвилюється, як перетворюється. Моделі пропорційних шансів та пропорційних небезпек - це два приклади класів моделей.$Y$$Y$

@Glen_b дав дуже хорошу відповідь, але, як зазначалося, так і не дійшов до кінця.

Отже, щодо вашого останнього запитання:

Думаю, досвідчений статистик не став би цього питання. Як зазначає Глен, проблема диктує інструменти для використання, а не навпаки.

Якби я намагався освоїти таку техніку, як лінійна регресія, я б використав уже відпрацьовані приклади - але ті, які мали реальні дані, а не складали дані, призначені для того, щоб полегшити справи. Книга, наприклад, регресійне моделювання за прикладом, може дати керівництво.

Однак одним із перших етапів розгляду проблеми регресії є вирішення, чи є лінійна регресія насправді підходящою.

Багато відповідей торкнулися припущень, які необхідно виконати: лінійність залишків, однорідність дисперсії в межах діапазону прогноктора, відсутність крайніх значень, які могли б впливати на лінію регресії, та незалежні спостереження. Залишкові ділянки досить легко виготовити за допомогою більшості регресійних програм, а деякі пакети надають деякі автоматично (SAS).

Одна людина говорила про перетворення у. Це звичайна практика в деяких областях, але це практика, яка призводить до упереджених і, можливо, непереборних результатів. Упередження виявляється, коли ви намагаєтесь назад перетворити результати в початковий показник. Краще перейти на інший тип регресії, який має залишковий малюнок, який відповідає розподільчим припущенням залишкової. Дивіться розділ 3 у вступі Агресті про категоричний аналіз даних, де він вводить поняття посилань. Ряд підручників з регресії також вводить узагальнену лінійну модель.