Чому могло б центрування незалежних змінних змінювати основні ефекти з помірністю?


28

У мене виникло питання, пов'язане з множинною регресією та взаємодією, натхненною цією ниткою CV: Взаємодія з використанням ієрархічного регресійного аналізу змінних змінних? На які змінні слід зосередитись?

Перевіряючи ефект модерації, я центрирую свої незалежні змінні та помножую центрировані змінні, щоб обчислити термін взаємодії. Потім я запускаю свій регресійний аналіз і перевіряю основні та ефекти взаємодії, які можуть показувати помірність.

Якщо я повторюю аналіз без центрування, очевидно, коефіцієнт визначення ( R2 ) не змінюється, але коефіцієнти регресії ( s) роблять. Це здається зрозумілим і логічним.β

Чого я не розумію: р-значення основних ефектів істотно змінюються при центруванні, хоча взаємодія не робить (що правильно). Тож моє тлумачення основних ефектів могло б кардинально змінитися - просто визначається центром чи ні. (Це ще однакові дані в обох аналізах!)

Може хтось уточнить? - Тому що це означатиме, що опція центрування моїх змінних була б обов'язковою, і всі повинні робити це для того, щоб отримати однакові результати з тими ж даними.


Дякую велике за поширення цієї проблеми та ваші вичерпні пояснення. Будьте впевнені, що ваша допомога дуже вдячна!

Для мене найбільшою перевагою центрування є уникнення мультиколінеарності. Це все ще досить заплутано у встановленні правила, централізувати чи ні. Моє враження, що більшість ресурсів пропонують зосередитись, хоча при цьому є деякі "ризики". Ще раз хочу зазначити той факт, що двоє дослідників, що займаються одним і тим самим матеріалом і даними, можуть зробити різні результати, тому що один робить центрування, а другий - ні. Я просто прочитав якусь частину книги Борца (він був професором і видом зірки статистики в Німеччині та Європі), і він навіть не згадує про цю техніку; просто вказує на обережність при інтерпретації основних ефектів змінних, коли вони беруть участь у взаємодії.

Зрештою, коли ви проводите регресію з одним IV, одним модератором (або другим IV) та DV, ви б рекомендували центрирувати чи ні?


5
Я майже ніколи не використовую центрування, вважаючи це абсолютно не потрібним і заплутаним.
Френк Харрелл

3
Прочитайте відповіді ще раз уважно. Ваші висновки не змінюються, якщо зосереджувати незалежні змінні чи застосовувати будь-яке лінійне перетворення - якщо вони правильно намальовані. Мультиколінеарність через нецентральність є чисто числовою проблемою, яку автоматично вирішує будь-яке гідне програмне забезпечення.
Scortchi

1
Це явище (зміни p-значень) можна зрозуміти як наслідок квадратичного характеру взаємодій, як пояснено на stats.stackexchange.com/questions/28730/… .
whuber

Відповіді:


23

У моделях, що не мають термінів взаємодії (тобто без термінів, побудованих як добуток інших термінів), коефіцієнт регресії кожної змінної є нахилом поверхні регресії у напрямку цієї змінної. Він постійний, незалежно від значень змінних, і тому, можна сказати, вимірювати загальний ефект цієї змінної.

У моделях з взаємодіями таке тлумачення можна зробити без додаткової кваліфікації лише для тих змінних, які не задіяні в жодних взаємодіях. Для змінної, яка бере участь у взаємодіях, коефіцієнт регресії головного ефекту - тобто коефіцієнт регресії змінної сам по собі - це нахил поверхні регресії у напрямку до цієї змінної, коли всі інші змінні взаємодіють із цією змінною мають значення нуля , і тест на значимість коефіцієнта відноситься до нахилу поверхні регресії лише в цій області простору прогноктора. Оскільки немає необхідності, щоб насправді існували дані в цій області простору, коефіцієнт основного ефекту може мати незначну схожість з нахилом поверхні регресії в області простору прогноктора, де фактично спостерігалися дані.

По-новому, коефіцієнт основного ефекту є аналогом простого основного ефекту, а не загального основного ефекту. Більше того, воно може посилатися на те, що в дизайні anova були б порожні комірки, в які дані надходили шляхом екстраполяції з комірок даних.

Для вимірювання загального ефекту змінної, яка є аналогом загального основного ефекту в anova і не екстраполює за межі області, в якій спостерігалися дані, ми повинні подивитися на середній нахил поверхні регресії у напрямку змінної , де усереднення перевищує N випадків, які фактично спостерігалися. Цей середній нахил може бути виражений у вигляді зваженої суми коефіцієнтів регресії всіх доданків у моделі, які включають зазначену змінну.

Ваги незручно описати, але їх легко отримати. Коефіцієнт основного ефекту змінної завжди отримує вагу 1. Для кожного іншого коефіцієнта терміна, що включає цю змінну, вага - це середнє значення добутку інших змінних у цьому терміні. Наприклад, якщо у нас є п'ять "сирих" змінних x1, x2, x3, x4, x5плюс чотири двосторонні взаємодії (x1,x2), (x1,x3), (x2,x3), (x4,x5)та одна тристороння взаємодія (x1,x2,x3), то модель є

y = b0 + b1*x1 + b2*x2 + b3*x3 + b4*x4 + b5*x5 +
    b12*x1*x2 + b13*x1*x3 + b23*x2*x3 + b45*x4*x5 +
    b123*x1*x2*x3 + e

і загальні основні ефекти є

B1 = b1 + b12*M[x2] + b13*M[x3] + b123*M[x2*x3],

B2 = b2 + b12*M[x1] + b23*M[x3] + b123*M[x1*x3],

B3 = b3 + b13*M[x1] + b23*M[x2] + b123*M[x1*x2],

B4 = b4 + b45*M[x5],

B5 = b5 + b45*M[x4],

де M [.] позначає середнє значення вибірки кількості всередині дужок. Усі терміни продукту всередині дужок належать до тих, які були побудовані для того, щоб зробити регресію, тому програма регресії повинна вже знати про них і мати можливість надрукувати їх засоби за запитом.

У моделях, які мають лише основні ефекти та двосторонні взаємодії, існує більш простий спосіб отримати загальний ефект: зосередити [1] необроблені змінні за допомогою їх засобів. Це потрібно зробити до обчислення умов продукту, а не слід робити з продуктами. Тоді всі вирази M [.] Стануть 0, а коефіцієнти регресії будуть інтерпретуватися як загальні ефекти. Значення B будуть змінюватися; значення B не будуть. Тільки змінні, які беруть участь у взаємодіях, повинні бути центрировані, але зазвичай немає шкоди при центруванні інших вимірюваних змінних. Загальний ефект від центрування змінної полягає в тому, що, крім зміни перехоплення, він змінює лише коефіцієнти інших змінних, які взаємодіють із центрированной змінною. Зокрема, це не змінює коефіцієнтів будь-яких доданків, що передбачають центрированную змінну. У наведеному вище прикладі, центрування x1 змінило б0, b2, b3 і b23.

[1 - "Центрування" використовується різними людьми способами, які досить різняться, щоб викликати плутанину. Як використовується тут, "центрування змінної на #" означає віднімання # від усіх балів змінної, перетворення вихідних балів у відхилення від #.]

То чому б не завжди зосереджуватися на засобах, звичайно? Три причини. По-перше, самі коефіцієнти основного ефекту від безцентризованих змінних можуть представляти інтерес. Центрування в таких випадках було б контрпродуктивним, оскільки воно змінює коефіцієнти основного ефекту інших змінних.

По-друге, центрування зробить усі M [.] Вирази 0 і, таким чином, перетворить прості ефекти в загальні ефекти, лише в моделях, що не мають тристоронніх або вищих взаємодій . Якщо модель містить такі взаємодії, то обчислення b -> B все одно потрібно робити, навіть якщо всі змінні зосереджені за допомогою їх засобів.

По-третє, центрування за таким значенням, як середнє значення, яке визначається розподілом предикторів на відміну від раціонального вибору, означає, що всі коефіцієнти, на які впливає центрування, будуть специфічними для вашої конкретної вибірки. Якщо ви зосереджуєтесь на середньому, то хтось, хто намагається повторити ваше дослідження, повинен зосередитись на вашому середньому, а не на власному рівні, якщо вони хочуть отримати ті самі коефіцієнти, які ви отримали. Рішення цієї проблеми полягає в тому, щоб зосереджувати кожну змінну на раціонально обраному центральному значенні цієї змінної, яке залежить від значення балів і не залежить від розподілу балів. Однак обчислення b -> B все ще залишаються необхідними.

Значимість загальних ефектів може бути перевірена звичайними процедурами тестування лінійних комбінацій коефіцієнтів регресії. Однак результати слід трактувати обережно, оскільки загальний вплив не є структурними параметрами, а залежить від дизайну. Структурні параметри - коефіцієнти регресії (нецентровані або з раціональним центруванням) та відхилення помилок - можуть очікувати, що вони залишаться інваріантними при зміні розподілу предикторів, але загальний ефект, як правило, зміниться. Загальний вплив є специфічним для конкретної вибірки, і не слід очікувати, що вони перенесуться на інші вибірки з різним розподілом на прогнози. Якщо загальний ефект є значним в одному дослідженні, а не в іншому, він може відображати не більше ніж різницю в розподілі прогнозів.


10

β

у=β1х1+β2х2+β3х1х2+ϵβ1х1β3х1х2х1х1х2β

ββ1ух1 х2=0х1ух2β1х2

βх1ух2ух1х2


-1

Я зійшов з розуму від того ж питання, але нарешті знайшов рішення для вашої та моєї проблеми. ВСЕ ПРО НАС, ЯК ВИ РОЗРАХУЄТЬСЯ ЦЕНТРОВАНІ ВАРІАБЛІ. Можливі два варіанти:
1. MEAN - Індивідуальна ПЕРЕМІННІ 2. ОКРЕМИХ ПЕРЕМІННІ - MEAN
Ви , ймовірно , розраховували ваш центрований змінні як (індивідуальні змінної - середнє значення) , тому ті , з низькими значеннями будуть отримувати негативні оцінки, і з високими значеннями отримають позитивні балів.
Я поясню на прикладі, щоб було легше зрозуміти. Я хочу побачити, як сила м’язів впливає на кісткову масу, і я хочу врахувати стать, щоб побачити, чи впливає це по-різному на дівчат і хлопців. Ідея полягає в тому, що чим вище сила м’язів, тим вище кісткова маса. Тому я маю:

Залежна змінна: Маса кісток Незалежні змінні: Стать, сила м'язів, взаємодія_SEX_MUSCLEСтражність.

Як я виявив мультиколінеарність (зазвичай це робиш, коли у тебе є термін взаємодії), я зосереджував м'язову міцність (ОЗНАЧЕННЯ - ІНДИВІДУАЛЬНА ВАРІАБЛЮВАННЯ) і створив новий термін взаємодії з новою центрированной змінною. Мої коефіцієнти були

Постійний: 0.902
Стать: -0.010(Хлопчики = 0; Дівчата = 1)
Зосереджений м'яз: -0.023
Взаємодія: 0.0002
Тому, якщо ви хочете оцінити кісткову масу хлопців, у вас було б таке рівняння:
Маса кістки = 0,902-(00,010)-(0,023мусcлеcентrегvалуе)+(Янтеrаcтiон0,0002)

Дивлячись на це, ви можете подумати, що м'язи впливають на кістку негативно, але ви повинні думати про свої центрировані змінні, а не про свої оригінальні змінні. Скажімо, середня м'язова сила групи була 30 KG. І ви хочете оцінити кісткову масу хлопчика (СЛАБОГО), який виконував, 20 KGта іншого, який виконував 40KG(STRONGBOY). Центрировані значення WEAKBOY становитимуть (MEAN GROUP VALUE - INDIVIDUAL VALUE; 30 - 20 = 10), а для STRONGBOY - -10. Застосування цих значень до рівняння:

СЛАБІСТЬ Маса кісток = 0,902 - 0 - (0,023 * 10) + .... = 0,672

STRONGBOY Маса кісток = 0,902 - (0,023 * (- 10)) + ... = 1,132

Як бачите, STRONGBOY справді мав міцнішу кістку. Якщо ви орієнтували свої змінні навпаки: (INDIVIDUAL - MEAN), всі коефіцієнти будуть однаковими, але символи будуть різними. Це тому, що при застосуванні централізованої змінної WEAKBOY буде (-10), а STRONGBOY буде (+10). Тому кінцеві результати будуть точно такі ж.

Все має сенс, як тільки ви це зрозумієте.

Сподіваюсь, що приклад досить зрозумілий.


Ця помилка не пояснює зміни р-значень. До речі, ваш варіант (1) не є центром, оскільки він включає множення значень на постійну. (Константа дорівнює -1.)
блукання
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.