Важливість предикторів у множинній регресії: Часткова проти стандартизованих коефіцієнтів

21

Мені цікаво, яка точна залежність між частковим та коефіцієнтами у лінійній моделі та чи слід використовувати лише один чи обидва для ілюстрації важливості та впливу факторів. $R^2$

Наскільки я знаю, summaryя отримую оцінки коефіцієнтів, а із anovaсумою квадратів для кожного фактора - частка суми квадратів одного множника, поділена на суму суми квадратів плюс залишків, є частковою (наступний код є ). $R^2$ R

library(car)
mod<-lm(education~income+young+urban,data=Anscombe)
    summary(mod)

Call:
lm(formula = education ~ income + young + urban, data = Anscombe)

Residuals:
    Min      1Q  Median      3Q     Max 
-60.240 -15.738  -1.156  15.883  51.380 

Coefficients:
              Estimate Std. Error t value Pr(>|t|)    
(Intercept) -2.868e+02  6.492e+01  -4.418 5.82e-05 ***
income       8.065e-02  9.299e-03   8.674 2.56e-11 ***
young        8.173e-01  1.598e-01   5.115 5.69e-06 ***
urban       -1.058e-01  3.428e-02  -3.086  0.00339 ** 
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 26.69 on 47 degrees of freedom
Multiple R-squared:  0.6896,    Adjusted R-squared:  0.6698 
F-statistic: 34.81 on 3 and 47 DF,  p-value: 5.337e-12

anova(mod)
Analysis of Variance Table

Response: education
          Df Sum Sq Mean Sq F value    Pr(>F)    
income     1  48087   48087 67.4869 1.219e-10 ***
young      1  19537   19537 27.4192 3.767e-06 ***
urban      1   6787    6787  9.5255  0.003393 ** 
Residuals 47  33489     713                      
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Розмір коефіцієнтів для "молодий" (0,8) та "міський" (-0,1, приблизно 1/8 колишнього, ігноруючи "-") не відповідає поясненій дисперсії ("молодий" ~ 19500 та "міський" ~ 6790, тобто близько 1/3).

Тому я подумав, що мені потрібно масштабувати свої дані, тому що я припускав, що якщо діапазон факторів значно ширший, ніж діапазон іншого фактора, їх коефіцієнти важко порівняти:

Anscombe.sc<-data.frame(scale(Anscombe))
mod<-lm(education~income+young+urban,data=Anscombe.sc)
summary(mod)

Call:
lm(formula = education ~ income + young + urban, data = Anscombe.sc)

Residuals:
     Min       1Q   Median       3Q      Max 
-1.29675 -0.33879 -0.02489  0.34191  1.10602 

Coefficients:
              Estimate Std. Error t value Pr(>|t|)    
(Intercept)  2.084e-16  8.046e-02   0.000  1.00000    
income       9.723e-01  1.121e-01   8.674 2.56e-11 ***
young        4.216e-01  8.242e-02   5.115 5.69e-06 ***
urban       -3.447e-01  1.117e-01  -3.086  0.00339 ** 
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 0.5746 on 47 degrees of freedom
Multiple R-squared:  0.6896,    Adjusted R-squared:  0.6698 
F-statistic: 34.81 on 3 and 47 DF,  p-value: 5.337e-12

anova(mod)
Analysis of Variance Table

Response: education
          Df  Sum Sq Mean Sq F value    Pr(>F)    
income     1 22.2830 22.2830 67.4869 1.219e-10 ***
young      1  9.0533  9.0533 27.4192 3.767e-06 ***
urban      1  3.1451  3.1451  9.5255  0.003393 ** 
Residuals 47 15.5186  0.3302                      
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Але це насправді не має різниці, частковий і розмір коефіцієнтів (це тепер стандартизовані коефіцієнти ) все ще не відповідають: $R^2$

22.3/(22.3+9.1+3.1+15.5)
# income: partial R2 0.446, Coeff 0.97
9.1/(22.3+9.1+3.1+15.5)
# young:  partial R2 0.182, Coeff 0.42
3.1/(22.3+9.1+3.1+15.5)
# urban:  partial R2 0.062, Coeff -0.34

Тож чи справедливо сказати, що "молодий" пояснює втричі більшу дисперсію, ніж "міський", оскільки частковий для "молодих" втричі перевищує показник "міський"? $R^2$ Чому коефіцієнт "молодий" тоді не втричі більше, ніж "міський" (ігноруючи знак)?

Я припускаю, що відповідь на це запитання також дасть мені відповідь на мій початковий запит: Чи слід використовувати частковий або коефіцієнти, щоб проілюструвати відносну важливість факторів? (Ігнорування напрямку впливу - знак - на даний момент.) $R^2$

Редагувати:

Частковий ета-квадрат є іншою назвою того, що я назвав частковим . etasq {heplots} - корисна функція, яка дає подібні результати: $R^2$

etasq(mod)
          Partial eta^2
income        0.6154918
young         0.3576083
urban         0.1685162
Residuals            NA

— Роберт
джерело

Що ви намагаєтеся зробити або показати саме? Орієнтовний вплив? Значення?

— IMA

Так, я знайомий з t- та F-тестами. Я хотів би показати орієнтовний вплив, для якого афаік t- та F-тести не підходять.

— Роберт

1

Моє запитання: чи слід використовувати частковий R² або коефіцієнти, щоб показати, який вплив має кожен фактор на результат? Я припускав, що обидва вказують в одному напрямку. Ви говорите, що це неправда, оскільки в даних є мультиколінеарність. Добре, тому, коли я хочу зробити таке твердження, як фактор "молодий", впливає на результат х разів більше / в х разів важливіший, ніж коефіцієнт "міський", я дивлюся на частковий R² або коефіцієнти?

— Роберт

1

Я не згоден з @IMA. Частковий R квадрат прямо пов'язаний з частковою кореляцією, що є приємним способом вивчення налаштованих на конфіденцію відносин між iv та dv.

— Майкл М

1

Я відредагував ваше запитання, щоб воно з’явилося на першій сторінці знову. Я був би дуже зацікавлений у гарній відповіді; якщо жодна не з'явиться, я навіть можу запропонувати щедроту. До речі, коефіцієнти регресії після стандартизації всіх предикторів називають «стандартизованими коефіцієнтами». Я вкладаю цей термін у ваше питання, щоб зробити його зрозумілішим.

— Амеба каже, що повернеться до Моніки

10

Коротше кажучи , я б не використовував як частковий і стандартизовані коефіцієнти в одному аналізі, оскільки вони не є незалежними. Я заперечую, що зазвичай, мабуть, більш інтуїтивно порівнювати відносини, використовуючи стандартизовані коефіцієнти, оскільки вони легко відносяться до визначення моделі (тобто ). Часткова , в свою чергу, є по суті частка унікальної загальної дисперсії між провісником і залежною змінною (Dv) (так що для першого предіктора це квадрат часткової кореляції $R^2$ $Y = \beta X$ $R^2$ $r_{x_1y.x_2...x_n}$ ). Крім того, для пристосування з дуже малою похибкою всі часткові коефіцієнтів мають тенденцію до 1, тому вони не корисні для визначення відносної важливості предикторів. $R^2$

Визначення розміру ефекту

стандартизований коефіцієнт, - коефіцієнти отримані в результаті оцінки моделі на стандартизованих змінних (середнє = 0, стандартне відхилення = 1). $\beta_{std}$ $\beta$
частковий - Частка залишкової варіації пояснюється додаванням предиктора до обмеженої моделі (повна модель без предиктора). Такий же, як: $R^2$
- квадрат часткової кореляції між предиктором і залежною змінною, керуючий для всіх інших предикторів в моделі. . $R_{partial}^2 = r_{x_iy.X\setminus x_i}^2$
- часткова - частка типу III сума квадратів з предиктор до суми квадратів , приписаних до провісника і помилки $\eta^2$ $\text{SS}_\text{effect}/(\text{SS}_\text{effect}+\text{SS}_\text{error})$
- різниця в між обмеженою і повною моделлю. Дорівнює: $\Delta R^2$ $R^2$
- напівчастинна кореляція у квадраті $r_{x_i(y.X\setminus x_i)}^2$
- для суми квадратів III типу - що ви обчислювали як часткове у запитанні. $\eta^2$ $\text{SS}_\text{effect}/\text{SS}_\text{total}$ $R^2$

Усі вони тісно пов'язані, але вони відрізняються тим, як вони обробляють кореляційну структуру між змінними. Щоб зрозуміти цю різницю трохи краще, припустимо, що у нас є 3 стандартизовані (середнє = 0, sd = 1) змінні , кореляції яких . Будемо приймати як залежну змінну і і $x,y,z$ $r_{xy}, r_{xz}, r_{yz}$ $x$ $y$ $z$ як провісники. Ми виразимо всі коефіцієнти розміру ефекту через співвідношення, щоб ми могли чітко побачити, як кожна структура обробки кореляції обробляється. Спочатку перерахуємо коефіцієнти в регресійній моделі оцінені за допомогою OLS. Формула коефіцієнтів: $x=\beta_{y}Y+\beta_{z}Z$ квадратний корінь здля предикторов буде дорівнює:

\begin{aligned} β_{у} = \frac{r_{х у} - r_{у z} r_{z х}}{1 - r_{у z}^{2}} \\ β_{z} = \frac{r_{х z} - r_{у z} r_{у х}}{1 - r_{у z}^{2}}, \end{aligned}

$\begin{align}\beta_{y} = \frac{r_{xy}-r_{yz}r_{zx}}{1-r_{yz}^2}\\ \beta_{z}= \frac{r_{xz}-r_{yz}r_{yx}}{1-r_{yz}^2}, \end{align}$

R_{partial}^{2}

$R_\text{partial}^2$

\sqrt{R_{x y . z}^{2}} = \frac{r_{x y} - r_{y z} r_{z x}}{\sqrt{(1 - r_{x z}^{2}) (1 - r_{y z}^{2})}} \sqrt{R_{x z . y}^{2}} = \frac{r_{x z} - r_{y z} r_{y x}}{\sqrt{(1 - r_{x y}^{2}) (1 - r_{y z}^{2})}}

$\sqrt{R^2_{xy.z}} = \frac{r_{xy}-r_{yz}r_{zx}}{\sqrt{(1-r_{xz}^2)(1-r_{yz}^2)}}\\ \sqrt{R^2_{xz.y}} = \frac{r_{xz}-r_{yz}r_{yx}}{\sqrt{(1-r_{xy}^2)(1-r_{yz}^2)}}$

the задається: $\sqrt{\Delta R^2}$

\sqrt{R_{x y z}^{2} - R_{x z}^{2}} = r_{y (x . z)} = \frac{r_{x y} - r_{y z} r_{z x}}{\sqrt{(1 - r_{y z}^{2})}} \sqrt{R_{x z y}^{2} - R_{x y}^{2}} = r_{z (x . y)} = \frac{r_{x z} - r_{y z} r_{y x}}{\sqrt{(1 - r_{y z}^{2})}}

$\sqrt{R^2_{xyz}-R^2_{xz}}= r_{y(x.z)} = \frac{r_{xy}-r_{yz}r_{zx}}{\sqrt{(1-r_{yz}^2)}}\\ \sqrt{R^2_{xzy}-R^2_{xy}}= r_{z(x.y)}= \frac{r_{xz}-r_{yz}r_{yx}}{\sqrt{(1-r_{yz}^2)}}$

Різниця між ними - знаменник, який для і $\beta$ містить лише кореляцію між предикторами. Зауважте, що в більшості контекстів (для слабо корельованих прогнозів) розмір цих двох буде дуже схожим, тому рішення не вплине на вашу інтерпретацію занадто сильно. Крім того, якщо предиктори, які мають аналогічну силу кореляції із залежною змінною і не надто сильно корелюють співвідношення $\sqrt{\Delta R^2}$ буде подібний до співвідношень. $\sqrt{ R_\text{partial}^2}$ $\beta_{std}$

Повернення до вашого коду. anovaФункція в R використовує тип I суму квадратів за замовчуванням, в той час як часткове , як описано вище , повинні бути розраховані на основі суми типу III квадратів (які я вважаю еквівалентна сумі типу II квадратів , якщо ніяке взаємодія не присутній у вашій моделі). Різниця полягає в тому, як пояснюється СС розподіляється між прогнокторами. У типі I SS першому предиктору присвоюється все пояснене СС, другому лише "ліворуч над СС" і третьому лише ліве над СС від цього, тому порядок, в якому ви вводите свої змінні у своєму дзвінку, змінює відповідний СС . Це, швидше за все, не те, що потрібно при інтерпретації коефіцієнтів моделі. $R^2$ lm

Якщо ви використовуєте суму Anovaдзвінків квадратів типу II у своєму дзвінку з carпакету в R, то значення для вашої anova будуть дорівнювати значенням квадраті для ваших коефіцієнтів (оскільки ). Це вказує на те, що справді ці кількості тісно пов'язані, і їх не слід оцінювати самостійно. Щоб викликати суму типу II у вашому прикладі замініть на, $F$ $t$ $F(1,n) = t^2(n)$ anova(mod)Anova(mod, type = 2) . Якщо ви включите термін взаємодії, вам потрібно буде замінити його сумою квадратів типу III, щоб коефіцієнт коефіцієнта і частковий тест R були однаковими (просто пам’ятайте, щоб змінити контрасти на суму, використовуючиoptions(contrasts = c("contr.sum","contr.poly"))перед тим, як дзвонити Anova(mod,type=3)). Частковий - змінна SS, поділена на змінну SS плюс залишковий SS. Це дасть ті самі значення, що ви вказали у висновку. Тепер тести та -значення ваших результатів anova (частковий ) та ваші коефіцієнти регресії однакові. $R^2$ etasq() $p$ $R^2$

Кредит

Формула часткової кореляції наведена у відповіді ttnphns тут: Множинна регресія чи частковий коефіцієнт кореляції? І відносини між ними
Формулу для часткової кореляції я знайшов тут: https://www3.nd.edu/~rwilliam/stats1/x92.pdf
Спостереження про те, що частковий для всіх прогнозів буде 1 для ідеального пристосування, і, таким чином, не корисний для порівняння їх відносної важливості, було надано амебою в коментарях до цього питання. $R^2$

— Кріс Новак
джерело

β = (X^{⊤} X) X^{⊤} y

$\beta = (X^\top X)X^\top y$

1

Ви маєте рацію, я мав на увазі те, що випробування типу III SS і t на коефіцієнти дають в основному те саме F тест і p значення.

— Кріс Новак

2

@amoeba після деяких розрахунків я відредагував свою відповідь, щоб включити ваші пропозиції, трохи уточнити відмінності між двома розмірами ефектів і краще вирішити відповідь ОП.

— Кріс Новак

1

Δ R^{2}

$\Delta R^2$

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

1

Δ R^{2}

$\Delta R^2$

R_{p}^{2}

$R^2_p$

Δ R^{2}

$\Delta R^2$

R_{p}^{2}

$R^2_p$

R^{2}

$R^2$

1

$1$

— Амеба каже, що повернеться до Моніки

8

Як уже було пояснено у кількох інших відповідях та коментарях, це питання грунтувалось на щонайменше трьох плутанинах:

anova() $t$ Anova()car
$R^2$ $\beta_\mathrm{std}$
$R^2$ $\text{SS}_\text{effect}/(\text{SS}_\text{effect}+\text{SS}_\text{error})$ $\text{SS}_\text{effect}/\text{SS}_\text{total}$ $R^2$ $\text{SS}_\text{effect}$

Після того, як ці плутанини будуть роз'яснені, залишається питання про те, які є найбільш підходящі заходи щодо розміру чи значення прогнозованого ефекту.

У R є пакет, relaimpoякий передбачає кілька заходів, що мають відносне значення.

library(car)
library(relaimpo)
mod <- lm(education~income+young+urban, data=Anscombe)
metrics <- calc.relimp(mod, type = c("lmg", "first", "last", "betasq", "pratt", "genizi", "car"))

Використовуючи той самий Anscombeнабір даних, що і у вашому запитанні, це дає такі показники:

Relative importance metrics: 

              lmg      last      first    betasq       pratt     genizi        car
income 0.47702843 0.4968187 0.44565951 0.9453764  0.64908857 0.47690056 0.55375085
young  0.14069003 0.1727782 0.09702319 0.1777135  0.13131006 0.13751552 0.13572338
urban  0.07191039 0.0629027 0.06933945 0.1188235 -0.09076978 0.07521276 0.00015460

Деякі з цих показників уже обговорено:

betasq- це стандартизовані коефіцієнти у квадраті, ті ж самі значення, що і ви lm().
first $\text{SS}_\text{effect}/\text{SS}_\text{total}$ $\text{SS}_\text{effect}$ anova()
last $R^2$ $\text{SS}_\text{effect}/\text{SS}_\text{total}$ $\text{SS}_\text{effect}$ $R^2$ anova()

$R^2$

Є ще чотири метрики relaimpo- і ще одна (п'ята) доступна, якщо пакет relaimpoвстановлено вручну: версія CRAN виключає цю метрику через потенційний конфлікт з її автором, який, божевільно, як це звучить, має патент США на його метод . Я запускаю R в Інтернеті і не маю доступу до нього, тому, якщо хтось може встановити вручну relaimpo, будь ласка, додайте цей додатковий показник до мого результату вище для повноти.

Дві показники - це prattте , що може бути негативним (поганим), і geniziце досить незрозуміло.

Два цікаві підходи є lmgі car.

$\text{SS}_\text{effect}/\text{SS}_\text{total}$ $\text{SS}_\text{effect}$

Другий представлений у (Zuber & Strimmer, 2011) та має багато привабливих теоретичних властивостей; це квадратизовані стандартизовані коефіцієнти після того, як прогнози спочатку стандартизовані, а потім побілені з трансформацією ZCA / Mahalanobis (тобто побілені при мінімізації помилки відновлення).

$2:1$ lmg $878:1$ car

Бібліографія:

Посилання на відносну важливість на веб-сайті Ульріке Грьомпінг - вона автор relaimpo.
Grömping, U. (2006). Відносна важливість для лінійної регресії в R: Пакетне відношення . Журнал статистичного програмного забезпечення 17, випуск 1.
Grömping, U. (2007). Оцінки відносної важливості лінійної регресії на основі варіаційного розкладу . Американський статистик 61, 139-147.
Зубер, В. і Стріммер, К. (2010). Високомірна регресія та змінний вибір з використанням балів CAR . Статистичні програми в генетиці та молекулярній біології 10.1 (2011): 1-27.
Грьомпінг, США (2015). Змінне значення в регресійних моделях . Міждисциплінарні огляди Вілі: обчислювальна статистика, 7 (2), 137-152. (за стіною оплати)

— Амеба каже Відновити Моніку
джерело

Дуже приємний підсумок із додатковою інформацією про різні значення коефіцієнтів важливості. До речі, ви використовуєте в Інтернеті цей двигун R pbil.univ-lyon1.fr/Rweb чи інший?

— ttnphns

1

Я використовую r-fiddle.org , але ніколи нічого не пробував і не знаю, як це порівнювати. Це виглядає досить гладко.

— амеба каже, що повернеться до Моніки

Дуже чіткий підсумок та додаткова інформація про розміри ефектів (+1)

— Кріс Новак

4

Ви написали:

Моє запитання: чи слід використовувати частковий R² або коефіцієнти, щоб показати, який вплив має кожен фактор на результат?

Тут важливо не плутати дві речі. По-перше, виникає питання специфікації моделі. Алгоритм lm передбачає, що припущення OLS виконані. Крім усього іншого, це означає, що для неупереджених оцінок NO модель не може бути відсутньою в моделі (за винятком випадків, коли вона є некорельованою з усіма іншими регресорами, рідко).
Тож у пошуку моделі, безумовно, цікавий додатковий вплив на R² або скоригований R². Можна подумати, що правильно додати регресори, доки, наприклад, відрегульований R² не перестане покращуватися, наприклад. Існують цікаві проблеми з поступовими регресійними процедурами, такими як ця, але це не тема. У будь-якому випадку я припускаю, що ви вибрали свою модель.

ТАКОЖ: цей додатковий вплив на R² не є тотожним реальним або повним впливом регресора на незалежну змінну саме через мультиколінеарність: Якщо ви віднімете регресор, частина його впливу тепер буде віднесена до інших регресорів, які співвідносяться з нею. Отже, справжній вплив показано неправильно.

І є ще одна проблема: оцінки справедливі лише для повної моделі при наявності всіх інших регресорів. Або ця модель ще не є коректною, і тому дискусія про вплив є безглуздою - або вона правильна, і тоді ви не можете усунути регресора і все-таки успішно використовувати методи OLS.

Отже: відповідна ваша модель та використання OLS? Якщо це так, то оцінки відповідають на ваше запитання - вони найкраще здогадуються про вплив змінних на змінну regressand / залежної.
Якщо ні, то ваше перше завдання - знайти правильну модель. Для цього використання часткового R² може бути способом. Пошук специфікації моделі або поступова регресія дасть багато цікавих підходів на цьому форумі. Що буде залежати від ваших даних.

— IMA
джерело

1

Дякую чотири ваші відповіді! Я не впевнений, що ваше твердження про те, що "цей додатковий вплив на R² не є тотожним реальним або повним впливом регресора на незалежну змінну" є безперечним. Наприклад, пакет relaimpo cran.r-project.org/web/packages/relaimpo/relaimpo.pdf використовує частковий R² "для оцінки відносної важливості в лінійних моделях".

— Роберт

1

Як ви думаєте, ви могли б надати посилання на свій погляд, що R² слід використовувати лише для вибору моделі?

— Роберт

1

@robert: причина розвитку relaimpoполягає в тому, щоб надати альтернативи частковому R ^ 2, саме тому, що дає IMA!

— Scortchi

1

@Scortchi: Ого, подивившись в посібнику з relaimpoпакетом, я зрозумів, що існує цілий світ різних підходів до кількісної оцінки відносної важливості предикторів у лінійній регресії. Я зараз переглядаю деякі документи, пов'язані там ( цей препринт 2010 року виглядає досить непогано), і це безлад! Я не усвідомлював, що це питання настільки складне, коли я запропонував свою винагороду. Здається, це не було належним чином обговорено в резюме. Це незрозуміла тема? Якщо так, то чому?

— Амеба каже: Відновити Моніку

2

@amoeba: Відверта відповідь полягає в тому, що "відносна важливість предикторів" не для всіх цілей важлива. Якщо у вас є модель, з якою ви задоволені, то ви можете використовувати її для того, щоб сказати такі речі, як куріння однієї сигарети в день, що еквівалентно вживанню в їжу п'яти гамбургерів з точки зору ризику отримати інфаркт - важливість виходить з предметної інтерпретації того, що ти моделюєш; якщо ви порівнюєте моделі, ви порівнюєте цілі моделі - скажімо, з & без дорогої для вимірювання пари провісників - і не потрібно турбуватися про те, як прогнозована потужність може бути справедливою.

— Scortchi

3

Щодо різниці між коефіцієнтом лінійної регресії та частковою кореляцією, ви можете прочитати це , наприклад.

Однак, плутанина, виражена у питанні, здається, має інший характер. Здається, йдеться про типовий тип розмірів квадратів, використовуваний тим чи іншим статистичним пакетом (тема, неодноразово обговорювана на нашому сайті). Лінійна регресія використовує те, що називається в перерахунку SS III типу ANOVA. У багатьох програмах ANOVA це також за замовчуванням. У Rфункціонуванні anovaмені здається (я не користувач R, тому я просто припускаю це) перерахунком за замовчуванням є тип I SS ("послідовний СС", який залежить від порядку, який передбачені в моделі передбачувачами). Отже, невідповідність, яку ви спостерігали і яка не зникла, коли ви стандартизували ("масштабували") ваші змінні, пояснюється тим, що ви вказали ANOVA з типовою опцією типу I.

Нижче наведені результати, отримані в SPSS з вашими даними:

введіть тут опис зображення

Ви можете вибрати в цих роздруківках, щоб параметри (коефіцієнти регресії) були однаковими незалежно від типу обчислення SS. Ви також можете помітити, що частковий квадрат Eta [що є SSeffect / (SSeffect + SSerror) та = частковий R-квадрат у нашому випадку, тому що прогноктори є числовими коваріатами] повністю однаковий у таблиці ефектів та коефіцієнтів лише тоді, коли тип SS є ІІІ. Коли тип SS - це I, лише останній з 3-х прогнокторів, "міський", зберігає те саме значення (.169); це тому, що в послідовності введення предикторів вона остання. У випадку типу III SS порядок введення не має значення, як при регресії. До речі, невідповідність виявляється і в p-значеннях. Хоча ви не бачите його в моїх таблицях, оскільки у стовпці "Sig" є лише три десяткових цифри,

Ви можете прочитати більше про різні "типи SS" в ANOVA / лінійній моделі. Концептуально тип III або тип "регресії" СС є фундаментальним і первинним. Інші типи СС (I, II, IV, їх існує навіть більше) - це спеціальні пристрої для оцінки впливу більш всебічно, менш марно, ніж допускають регресійні параметри в ситуації корельованих прогнозів.

Як правило, розміри ефектів та їх p-значення важливіше звітувати, ніж параметри та їх p-значення, якщо тільки метою дослідження не є створення моделі майбутнього. Параметри - це те, що дозволяє передбачити, але "вплив" чи "ефект" може бути ширшим поняттям, ніж "сила лінійного прогнозування". Повідомляти про вплив чи важливість можливі й інші коефіцієнти, окрім часткового квадрата Ета. Одне з коефіцієнтів - коефіцієнт відпустки: важливість предиктора - це залишкова сума квадратів з випередженням, вилученими з моделі, нормалізована так, що значення важливості для всіх прогнозів становлять 1.

— ttnphns
джерело

+1, дякую за приєднання до дискусії. У мене є термінологічне питання. "Частковий R квадрат" визначається як SSeffect / (SSeffect + SSerror). Як називається SSeffect / SStotal? Наскільки я розумію (виправте мене, якщо я помиляюся), якщо ми використовуємо декомпозицію типу III SS, то цей SSeffect / SStotal буде дорівнює квадратичній частковій кореляції між відповіддю та цим предиктором (контролюючи всі інші предиктори). Чи має ця кількість назва? Частковий R2 аналогічний частковому ета-квадрату, але чому не існує назви для самого аналога ета-квадрата? Мене це бентежить.

— амеба каже: Поновіть Моніку

Ой, я думаю, я написав якісь дурниці вище: часткове співвідношення у квадраті - це SSeffect / (SSeffect + SSerror), тобто саме частковий R2, правильно? Однак питання про те, як викликати SSeffect / SStotal (це те, що ОП намагався обчислити у своєму первісному питанні!), Залишається. Чи варто просто назвати це ета-квадратом? Або "розділений R2" (розуміючи, звичайно, що для типу III SS ці "перегородки" не будуть дорівнювати загальній R2)?

— амеба каже, що поверніть Моніку

1

Так, SSeffect / SStotal просто на квадрат. У цій конкретній моделі він є квадратом провіктора (не плутати з граничним ета-квадратом = ета-квадратом, коли прогноктор лише один в моделі = Пірсон r ^ 2, нульовий порядок, у нашому випадку суцільних предикторів).

— ttnphns

1

Саме так. Часткова кореляція - це (конкретний екземпляр) ета. Я думаю , що це правильне тому називати цю ETA в моделі частині ETA. Я просто не пам'ятаю жодного тексту, де я стикаюся з терміном "частина" або "напівчастинка" ета. Якщо ви це дізнаєтесь, будь ласка, повідомте мене про це.

— ttnphns

1

Так; чому, я думаю так само. Але r, частковий r, напівчастинний r є окремими випадками відповідного ета. Однак важлива термінологічна відмінність між цими двома виникає в контексті, коли, крім того, до загального категоріального (нерегулярного) ефекту «нелінійний» ми додаємо лінійний (або поліном) ефект предиктора, як ніби кодований числом. Тут ми показуємо 3 ефекти: комбінований Etasq = лінійний Rsq + відхилення від лінійності.

— ttnphns