У чому переваги різних підходів до виявлення колінеарності?

Я хочу виявити, чи колінеарність є проблемою в моїй регресії OLS. Я розумію, що коефіцієнти інфляції дисперсії та індекс стану є двома загальноприйнятими заходами, але мені важко знайти щось певне щодо достоїнств кожного підходу чи таких, якими мають бути оцінки.

Видатне джерело, яке вказує, який підхід робити та / або які оцінки підходять, було б дуже корисним.

Подібне запитання було задано на "Чи є причина віддати перевагу конкретному міру мультиколінеарності?" але я в ідеалі після посилання, яке можу навести.

Belsley, Kuh і Welsch - це текст, на який слід звернутися до такого питання. Вони включають широке обговорення старшої діагностики у розділі «Історична перспектива». Щодо VIF вони пишуть

... Якщо ми припускаємо , що дані були центрованими і масштабуються , щоб мати одиничну довжину, кореляційна матриця просто . ...$X$$R$$X^\prime X$

Ми розглядаємо . Діагональні елементи , часто називають коефіцієнтами інфляції дисперсії , а їх діагностичне значення випливає із співвідношення де - коефіцієнт множинної кореляції регресуючи на інших пояснювальних змінних. Очевидно, що високий VIF вказує на поблизу єдності, а значить, вказує на колінеарність. Таким чином, цей захід є деяким вживанням як загальна ознака колінеарності. Його слабкі місця, як і у$R^{-1} = (X^\prime X)^{-1}$$R^{-1}$$r^{ii}$$\text{VIF}_i$

$$\text{VIF}_i = \frac{1}{1 - R_i^2}$$ $R_i^2$$X_i$$R_i^2$$R$, полягає у його нездатності розрізнити декілька співіснуючих близьких залежностей та у відсутності змістовної межі для розрізнення значень VIF, які можна вважати високими, та тих, які можна вважати низькими.

Замість аналізує (або ), BKW пропонує ретельне, контрольоване дослідження сингулярного розкладання . Вони мотивують це, демонструючи , що відношення найбільшого до найдрібніших сингулярних значень є числом обумовленості з і покажуть , як число обумовленості забезпечує (іноді жорстке) оцінки на поширенні обчислювальних помилок при розрахунку оцінок регресії. Вони продовжують спробувати приблизну декомпозицію відхилень оцінок параметрів на компоненти, пов'язані з сингулярними значеннями. Сила цього розкладання полягає в його здатності (в багатьох випадках) розкривати природу$R$$R^{-1}$$X$$X$$\hat\beta_i$ колінеарності, а не просто вказівки на її наявність.

Усі, хто створив регресійні моделі із сотнями змінних, оцінять цю особливість! Одне програмне забезпечення говорить «ваші дані колінеарні, я не можу продовжувати» або навіть сказати «ваші дані колінеарні, я викидаю такі змінні». Це взагалі набагато корисніше, щоб можна було сказати "група змінних викликає нестабільності в обчисленнях: подивіться, яку з цих змінних можна зробити без чи врахувати виконання аналізу основних компонентів для зменшення їх кількості ".$X_{i_1}, \ldots, X_{i_k}$

Зрештою, BKW рекомендує діагностувати колінеарність за допомогою

... наступна подвійна умова:

1. Окреме значення, яке оцінюється як високий індекс стану, і яке пов'язане з
2. Високі співвідношення дисперсії та дисперсії для двох або більше оцінених дисперсій коефіцієнта регресії.

Кількість індексів умов, які вважаються великими (скажімо, більшими, ніж ) у (1), визначає кількість близьких залежностей серед стовпців матриці даних , а величини цих високих показників стану забезпечують міру їх відносної «герметичності». " Крім того, визначення (2) великої дисперсійної декомпозиції (скажімо, більше ), пов'язаного з кожним високим показником умови, ідентифікує ті змінні, які беруть участь у відповідній близькій залежності, та величину цих пропорцій у поєднанні з високою індекс стану передбачає міру ступеня, до якої відповідна оцінка регресії була деградована наявністю колінеарності.$30$$X$$0.5$

• Варіаційні коефіцієнти інфляції (VIF) легко зрозуміти. Регресуйте кожен ваш стовпчик матриці дизайну на всіх інших, зверніть увагу на цієї моделі, обчисліть , і там ви йдете. VIF з 10 означає, що ви можете пояснити 90% дисперсії одного прогноктора, використовуючи всі інші регресори. Зазвичай це використовується, як правило, поріг великого пальця для колінеарності.$R^2$$1/(1-R^2)$

  Тим не менш, VIF, як правило, реалізовані, не можуть сказати вам про колінеарність з перехопленням, оскільки перехоплення зазвичай беззвучно включається в ці "помічницькі" регресії. Крім того, якщо регресор має високий рівень ВІФ, ви не відразу знаєте, які інші регресори відповідають за колінеарність. Вам знадобиться переглянути стандартизовані коефіцієнти в регресних допомогах.

• Індекси умов та пропорції коланеарності декомпозиції Belsley, Kuh & Welsch (Belsley, DA; Kuh, E. & Welsch, RE Regression Diagnostics: Identification of Impliency Data and Source of Collinenary . John Wiley & Sons, 1980) набагато важче зрозуміти. Раніше я працював з ними кілька років тому, але я не намагаюся пояснити їх тут, не отримуючи оновлення ;-)

  Ця діагностика дійсно дозволяють виявляти коллинеарности з перехопленням. І ви можете досліджувати пропорції розкладу колінеарності, щоб визначити, які інші регресори відповідають за одну колінеарність регресора.

Для широких доступних посилань на цитування, книга Faraway на стор. 117 надає велике правило понад 30 для виявлення проблем на основі номерів умов, а Вступ до статистичного навчання , сторінка 101, говорить, що значення VIF вище 5 або 10 вказують на проблему. .

Напевно, більш важливим, ніж метод, який ви використовуєте для виявлення мультиколінеарності, буде те, як ви з цим поводитесь.