Я натрапив на дуже хороший текст про Bayes / MCMC. ІТ передбачає, що стандартизація ваших незалежних змінних зробить алгоритм MCMC (Metropolis) більш ефективним, але також може зменшити (багато) колінеарність. Чи може це бути правдою? Це щось, що я повинен робити як стандарт . (Вибачте).

Kruschke 2011, Doing Bayesian Analysis Data. (AP)

редагувати: наприклад

     > data(longley)
     > cor.test(longley$Unemployed, longley$Armed.Forces)

Pearson's product-moment correlation

     data:  longley$Unemployed and longley$Armed.Forces 
     t = -0.6745, df = 14, p-value = 0.5109
     alternative hypothesis: true correlation is not equal to 0 
     95 percent confidence interval:
     -0.6187113  0.3489766 
     sample estimates:
      cor 
     -0.1774206 

     > standardise <- function(x) {(x-mean(x))/sd(x)}
     > cor.test(standardise(longley$Unemployed), standardise(longley$Armed.Forces))

Pearson's product-moment correlation

     data:  standardise(longley$Unemployed) and standardise(longley$Armed.Forces) 
     t = -0.6745, df = 14, p-value = 0.5109
      alternative hypothesis: true correlation is not equal to 0 
     95 percent confidence interval:
      -0.6187113  0.3489766 
      sample estimates:
       cor 
     -0.1774206 

Це не зменшило кореляцію, а отже, хоч і обмежену лінійну залежність векторів.

Що відбувається?

R

Це взагалі не змінює колінеарність між основними ефектами. Масштабування теж не має. Будь-яке лінійне перетворення цього не зробить. Змінюється це співвідношення основних ефектів та їх взаємодій. Навіть якщо A і B є незалежними з кореляцією 0, кореляція між A і A: B буде залежати від коефіцієнтів масштабу.

Спробуйте наступне на консолі R. Зауважте, що rnormпросто генеруються випадкові вибірки з нормального розподілу із встановленими вами популяційними значеннями, у цьому випадку 50 вибірками. scaleФункція стандартизує зразок до середнього значення 0 і 1 SD.

set.seed(1) # the samples will be controlled by setting the seed - you can try others
a <- rnorm(50, mean = 0, sd = 1)
b <- rnorm(50, mean = 0, sd = 1)
mean(a); mean(b)
# [1] 0.1004483 # not the population mean, just a sample
# [1] 0.1173265
cor(a ,b)
# [1] -0.03908718

Для цих незалежних вибірок випадкова кореляція становить близько 0. Тепер нормалізуйте значення 0 і SD 1.

a <- scale( a )
b <- scale( b )
cor(a, b)
# [1,] -0.03908718

Знову ж таки, це саме те саме значення, хоча середнє значення дорівнює 0 і SD = 1 для обох aі b.

cor(a, a*b)
# [1,] -0.01038144

Це також дуже близько 0. (a * b можна вважати терміном взаємодії)

Однак зазвичай рівень SD та середнє значення передбачувачів досить різняться, тому давайте змінимося b. Замість того, щоб брати новий зразок, я перевставлю оригінал, bщоб він мав середнє значення 5 і SD 2.

b <- b * 2 + 5
cor(a, b)
 # [1] -0.03908718

Знову той знайомий зв’язок, який ми бачили весь час. Масштабування не впливає на співвідношення між aта b. Але !!

cor(a, a*b)
# [1,] 0.9290406

Тепер це матиме суттєве співвідношення, яке ви зможете усунути шляхом центрування та / або стандартизації. Я взагалі йду лише з центруванням.

Як вже згадували інші, стандартизація насправді не має нічого спільного з колінеарністю.

Ідеальна колінеарність

$X$$\mu_X$$\sigma_X$

$$\newcommand{Var}{\mathrm{Var}} Z_X = \frac{X - \mu_X}{\sigma_X}$$

має середнє значення і стандартне відхилення урахуванням властивостей очікуваного значення та дисперсії, що , і , , де rv і - константи.$\mu_Z = 0$$\sigma_Z = 1$$E(X + a) = E(X) + a$$E(bX) = b\,E(X)$$\Var(X + a) = \Var(X)$$\Var(bX) = b^2 \Var(X)$$X$$a,b$

Ми говоримо, що дві змінні і є ідеально колінеарними, якщо існують такі значення та що$X$$Y$$\lambda_0$$\lambda_1$

$$Y = \lambda_0 + \lambda_1 X$$

що далі, якщо має середнє і стандартне відхилення , то має середнє і стандартне відхилення . Тепер, коли ми стандартизуємо обидві змінні (вилучимо їх засоби і розділимо на стандартні відхилення), отримаємо ...μ X σ X Y μ Y = λ 0 + λ 1 μ X σ Y = λ 1 σ X Z X = Z $X$$\mu_X$$\sigma_X$$Y$$\mu_Y = \lambda_0 + \lambda_1 \mu_X$$\sigma_Y = \lambda_1 \sigma_X$$Z_X = Z_X$

Кореляція

Звичайно, ідеальна колінеарність - це не те, що ми бачили це часто, але сильно корельовані змінні також можуть бути проблемою (і вони пов'язані з колінеарністю). Чи впливає стандартизація на кореляцію? Порівняйте наступні графіки, що показують дві корельовані змінні на двох графіках до та після масштабування:

Ви можете помітити різницю? Як бачите, я цілеспрямовано видалив мітки осі, тому, щоб переконати вас, що я не обманюю, дивіться сюжети з доданими мітками:

Математично кажучи, якщо кореляція є

$$\newcommand{Corr}{\mathrm{Corr}} \newcommand{Cov}{\mathrm{Cov}} \Corr(X, Y) = \frac{\Cov(X,Y)}{\Var(X)\,\Var(Y)}$$

то з колінеарними змінними у нас є

$$\require{cancel} \begin{align} \Corr(X, Y) &= \frac{E[(X - \mu_X)(Y - \mu_Y)]}{\sigma_X\sigma_Y} \\ &=\frac{E[(X - \mu_X)(\cancel{\lambda_0} + \lambda_1 X - \cancel{\lambda_0} - \lambda_1\mu_X )]}{\sigma_X\;\lambda_1\sigma_X} \\ &= \frac{E[(X - \mu_X)(\lambda_1 X - \lambda_1\mu_X )]}{\sigma_X\;\lambda_1\sigma_X} \\ &= \frac{E[(X - \mu_X)\lambda_1( X - \mu_X )]}{\sigma_X\;\lambda_1\sigma_X} \\ &= \frac{\cancel{\lambda_1} E[(X - \mu_X)(X - \mu_X )]}{\sigma_X\;\cancel{\lambda_1}\sigma_X} \\ &= \frac{E[(X - \mu_X)(X - \mu_X )]}{\sigma_X\sigma_X} \end{align}$$

тепер, оскільки ,$\Cov(X,X) = \Var(X)$

$$\begin{align} &= \frac{\Cov(X, X)}{\sigma_X^2} = \frac{\Var(X)}{\Var(X)} = 1 \end{align}$$

Хоча зі стандартизованими змінними

$$\begin{align} \Corr(Z_X, Z_Y) &= \frac{E[(Z_X - 0)(Z_Y - 0)]}{1 \times 1} \\ &= \Cov(Z_X, Z_Y) = \Var(Z_X) = 1 \end{align}$$

оскільки ...$Z_X = Z_Y$

Нарешті, зауважте, що те, про що говорить Крушке, - це те , що стандартизація змінних полегшує життя пробовідбірника Гіббса і призводить до зменшення кореляції між перехопленням і нахилом у регресійній моделі, яку він представляє. Він не каже, що стандартизація змінних зменшує колінеарність між змінними.

Стандартизація не впливає на співвідношення змінних. Вони залишаються абсолютно такими ж. Кореляція фіксує синхронізацію напрямку змінних. У стандартизації немає нічого, що змінює напрямок змінних.

Якщо ви хочете усунути мультиколінеарність між вашими змінними, пропоную використовувати аналіз основних компонентів (PCA). Як відомо, PCA дуже ефективний для усунення проблеми мультиколінеарності. З іншого боку, PCA робить комбіновані змінні (основні компоненти P1, P2 тощо) досить непрозорими. Модель PCA завжди набагато складніше пояснити, ніж традиційна багатоваріантна.

Це не зменшує колінеарність, може зменшити ВІФ. Зазвичай ми використовуємо VIF як показник для занепокоєння щодо колінеарності.

Джерело: http://blog.minitab.com/blog/adventures-in-statistics-2/what-are-the-effects-of-multicollinenary-and-when-can-i-ignore-them

Стандартизація - це поширений спосіб зменшити колінеарність. (Ви повинні мати можливість швидко перевірити, що це працює, спробувавши його на пару пар змінних.) Чи будете ви це робити рутинно, залежить від того, яка кількість колінеарності у ваших аналізах.

Редагувати: я бачу, що помилився. Однак стандартизація робить зменшення колінеарності з умовами продукту (умовами взаємодії).