Чи має сенс додати в модель квадратичний термін, але не лінійний член?

57

У мене є (змішана) модель, в якій один з моїх прогнозів апріорі повинен апріорі бути пов'язаний лише квадратично з предиктором (через експериментальну маніпуляцію). Отже, я хотів би додати в модель лише квадратичний термін. Дві речі заважають мені це робити:

Я думаю, що я читав, що коли-небудь слід включати поліном нижчого порядку при встановленні поліномів вищого порядку. Я забув, де я його знайшов, і в літературі, яку я переглянув (наприклад, Faraway, 2002; Fox, 2002), я не можу знайти хорошого пояснення.
Коли я додаю обидва, лінійний і квадратичний додаток, обидва є значущими. Коли я додаю лише одну з них, вони не є суттєвими. Однак лінійне відношення предиктора та даних не інтерпретується.

Контекст мого запитання - це конкретно модель із змішаною моделлю lme4 , але я хотів би отримати відповіді, які б могли пояснити, чому це так чи чому непогано включати поліном вищого порядку, а не поліном нижчого порядку.

Якщо потрібно, я можу надати дані.

regression polynomial

— Генрік
джерело

5

Я думаю, що відповіді на це питання можуть бути корисними.

6

Так, я погоджуюся з Прокрастинатором, і питання взаємодії - це, по суті, однаковий розгляд. У нас є кілька високоголосних питань по цій темі. Окрім пропозиції Про, див. Також: Чи потрібні всі терміни взаємодії в індивідуальній формі в регресійній моделі? і що робити, якщо взаємодія знищує мої прямі наслідки в регресії? .

— Енді Ш

Дякуємо за нагадування про ці запитання. З наведених відповідей видно, що це нормальна стратегія, якщо у вас є хороші апріорні причини, щоб включити лише квадратичний термін, а сам по собі неправильний. Залишилося питання щодо масштабованості (див.: Stats.stackexchange.com/a/27726/442 ). Чи повинен я централізувати свою змінну перед приміркою, лише використовуючи квадратичний термін?

— Генрік

1

@Henrik - моя відповідь у посиланні, яке ви розмістили, стосувалося того, як висновок моделі залежно від довільних зрушень у значеннях предиктора (таких як середнє центрування) - небажано, щоб суттєвий висновок залежить від чогось такого довільного, саме тому моя відповідь на ваш питання "ні", з тієї ж причини.

— Макрос

2

Питання квадратичного проти лінійного достатньо концептуально відрізняється від взаємодій, що, на мою думку, це не слід вважати дублікатом.

— gung - Відновіть Моніку

66

1. Навіщо включати лінійний член?

Ілюмінація помічає, що квадратичне відношення можна записати двома способами:

y = a_{0} + a_{1} x + a_{2} x^{2} = a_{2} (x - b)^{2} + c

$y = a_0 + a_1 x + a_2 x^2 = a_2(x - b)^2 + c$

(де, рівняючи коефіцієнти, знаходимо і $-2a_2 b = a_1$ ). Значення $a_2 b^2 + c = a_0$ $x=b$ відповідає глобальному екстремуму зв’язку (геометрично воно локалізує вершину параболи).

Якщо не включати лінійний член , можливості зводяться до $a_1 x$

у = а_{0} + а_{2} х^{2} = а_{2} (х - 0)^{2} + c

$y = a_0 + a_2 x^2 = a_2(x - 0)^2 + c$

(де зараз, очевидно, і передбачається, що модель містить постійний доданок $c = a_0$ ). Тобто ви примушуєте $a_0$ $b=0$ .

Зважаючи на це, питання №1 зводиться до того, чи впевнені ви, що глобальний екстремум повинен виникати при $x=0$ . Якщо ви є, то ви можете сміливо опустити лінійний член . В іншому випадку ви повинні включити його. $a_1 x$

2. Як зрозуміти зміни за значенням, коли терміни включаються або виключаються?

Це дуже детально обговорюється у пов'язаній темі на https://stats.stackexchange.com/a/28493 .

У цьому випадку значення вказує на наявність кривизни у взаємозв'язку та значущості $a_2$ $a_1$ вказує на те, що НЕ дорівнює нулю: це звучить , як вам потрібно включити обидва терміни (а також постійна, звичайно). $b$

— дзижчати
джерело

1

Дякую шубер. Чудова відповідь. Тож якщо я зосереджую теоретичний екстремум на 0 (це насправді мінімум), я добре з опусканням лінійного члена. Це акутно призводить до дуже значного квадратичного предиктора (без лінійного).

— Генрік

якщо і лінійний, і квадратичний доданки змінної співвідносяться, чи можу я включити їх обох у модель, або я повинен виключити один (який я вважаю, що це має бути квадратичний)?

— mtao

@Teresa Немає загальних причин для усунення корельованих термінів у регресії. (Якби це було так, переважна більшість створених коли-небудь регресійних моделей зазнавала б проблем!) Дуже сильно співвіднесені терміни, які разом не сприяють придатності моделі в порівнянні з будь-яким терміном, можуть бути зведені до підмножини цих термінів.

— whuber

@whuber, дуже дякую! Також для логістичної регресійної моделі я використовував коефіцієнт шансів, щоб оцінити розмір ефекту, але лише з лінійними умовами. Якщо я маю лінійну та квадратичну, чи можу я використовувати один і той же підхід і інтерпретувати результати однаково?

— mtao

Не зовсім. Причина полягає в тому, що ви не можете окремо змінювати лінійні та квадратичні умови. Ви повинні розглянути, як зміниться відповідь, коли ви трохи зміните початкову змінну.

— whuber

22

@whuber дав тут справді чудову відповідь. Я просто хочу додати невеличку безкоштовну точку. У запитанні йдеться про те, що "лінійне співвідношення предиктора та даних не інтерпретується". Це натякає на загальне непорозуміння, хоча я, як правило, чую його з іншого боку ("що таке трактування квадратного [кубічного тощо] терміна?").

Коли у нас є модель з декількома різними коваріатами, кожен бета [термін], як правило, може мати власну інтерпретацію. Наприклад, якщо:

{\hat{GPA}}_{c o l l e g e} = β_{0} + β_{1} {GPA}_{h i g h s c h o o l} + β_{2} class rank + β_{3} SAT,

$\widehat{\text{GPA}}_{college}=\beta_0+\beta_1\text{GPA}_{highschool}+\beta_2\text{class rank}+\beta_3\text{SAT},$

(GPA означає середній бал середнього класу;
ранг - це впорядкування балів середнього рівня студента щодо інших студентів цієї ж середньої школи; &
SAT означає "тест на схоластичну здатність" - стандартний загальнонаціональний тест для студентів, які йдуть до університету)

то ми можемо призначити окремі тлумачення для кожного бета / терміна. Наприклад, якби середній бал середньої школи студента був на 1 бал вище - всі інші рівні, - ми очікували б, що їх бал середнього шкільного рівня буде $\beta_1$ бал більший.

Важливо зауважити, що інтерпретувати модель таким чином не завжди дозволяється. Один очевидний випадок - коли існує взаємодія між деякими змінними, оскільки не було б можливим, щоб окремий термін відрізнявся і все-таки був би незмінним - необхідність, термін взаємодії мінявся б також. Таким чином, коли відбувається взаємодія, ми не трактуємо основні ефекти, а лише прості ефекти , як це добре зрозуміло.

\hat{y} = β_{0} + β_{1} x + β_{2} x^{2}

$\hat{y}=\beta_0+\beta_1x+\beta_2x^2$

x

$x$

x

$x$

x^{2}

$x^2$ $x^2$ $x$ $x^{17}$

p

$p$

p - 1

$p-1$

x

$x$

y

$y$

\hat{y}

$\hat{y}$

x

$x$

\frac{d y}{d x} = β_{1} + 2 β_{2} x

$\frac{dy}{dx}=\beta_1+2\beta_2x$

y

$y$

x

$x$

y

$y$ $x$

y

$y$

x_{o l d}

$x_{old}$

x_{n e w}

$x_{new}$ . Це просто природа криволінійних відносин.

— gung - Відновити Моніку
джерело

1

Відмінна відповідь! Це нагадує мені кілька чудових відповідей, які користувач chl представив на інтерпретацію ефектів взаємодії . У цій відповіді він посилається на статті, які найкращі практики виявлення ефектів взаємодії? . І дає чудовий приклад графічного відображення взаємодії з використанням копток у цій відповіді. Чи можлива взаємодія між двома безперервними змінними? .

— Енді Ш

1

На відповідь Гунга я просто хочу сказати, що статистичне моделювання передбачає шум, який може замаскувати деталі в моделі поліноміальної регресії. я думаю, що питання, що стосується централізації, яке піднімав Білл Хубер, було грубим, оскільки в одній формальності відсутній лінійний член, а в іншій - з квадратичним. Сила кривизни в сигналі диктує необхідність терміну, що перевищує перший порядок, але насправді нічого не говорить про необхідність лінійного члена.

— Майкл Черник

7

$x=0$

$Y = b_0 + b_2(x - \bar{x})^2$ $\bar{x}$ $x$ $x=\bar{x}$

Ваше твердження про те, що як лінійні, так і квадратичні доданки є значущими при введенні обох, потребує певного уточнення. Наприклад, SAS може повідомити про тест I та / або тип III для цього прикладу. Перший тип випробовує лінійну перед введенням у квадратичну. Тип III тестує лінійну з квадратичною в моделі.

— Еміль Фрідман
джерело

2

x^{2}

$x^2$

x = 0

$x=0$

x = \bar{x}

$x=\bar{x}$

x

$x$

x^{2}

$x^2$ сталося.

— gung - Відновіть Моніку

У іншій примітці ви можете посилатися на внески користувача, вказуючи його ім’я користувача, можливо із символом "at". Наприклад, у такому випадку "@ відповідь Ваубера правильна в цілі ..." (почуття, з яким я згоден.)

— gung - Відновіть Моніку

1

Дякую, Еміль, за те, що ти нагадав: вони обидва варто пам’ятати.

— whuber

3

Brambor, Clark and Golder (2006) (який постачається з додатком до Інтернету ) мають чітке розуміння того, як зрозуміти моделі взаємодії та як уникнути загальних підводних каменів, включаючи те, чому слід (майже) завжди включати умови нижчого порядку ( "конститутивні терміни") у моделях взаємодії.

Аналітики повинні включати всі складові терміни при вказівці мультиплікативних моделей взаємодії, за винятком дуже рідкісних обставин. Під конституційними термінами ми маємо на увазі кожен з елементів, що складають термін взаємодії. [..]

Читач, однак, повинен зазначити, що мультиплікативні моделі взаємодії можуть приймати найрізноманітніші форми і можуть включати квадратичні терміни, такі як $X^2$ $XZJ$ $X$ $X^2$ $X$ $Z$ $J$ $XZ$ $XJ$ $ZJ$ $XZJ$

Якщо цього не зробити, це може призвести до ненаголошеної моделі, яка б призвела до необ'єктивних оцінок. Це може призвести до інфекційних помилок.

$Z$ $XZ$ $X$ $Z$ $\beta_0$ $\beta_1$ $\beta_3$

— ландроні
джерело