Як інтерпретувати коефіцієнти стандартних помилок у лінійній регресії?


26

Мені цікаво, як інтерпретувати коефіцієнт стандартних помилок регресії при використанні функції відображення в Р.

Наприклад у наступному виході:

lm(formula = y ~ x1 + x2, data = sub.pyth)
        coef.est coef.se
(Intercept) 1.32     0.39   
x1          0.51     0.05   
x2          0.81     0.02   

n = 40, k = 3
residual sd = 0.90, R-Squared = 0.97

Чи має вища стандартна помилка більше значення?

Також для залишкового стандартного відхилення більш високе значення означає більший розкид, але R-квадрат показує дуже близьке, чи це не протиріччя?

Відповіді:


52

Оцінки параметрів, як середня вибірка або коефіцієнт регресії OLS, - це вибіркова статистика, яку ми використовуємо для отримання висновків про відповідні параметри сукупності. Параметри чисельності населення - це те, що нас дійсно хвилює, але оскільки ми не маємо доступу до всього населення (зазвичай вважається нескінченним), ми повинні використовувати цей підхід замість цього. Однак є певні незручні факти, які випливають із таким підходом. Наприклад, якби ми взяли інший зразок і обчислили статистику, щоб знову оцінити параметр, ми майже напевно виявили б, що він відрізняється. Більше того, жодна оцінка, ймовірно, не повністю відповідає дійсному значенню параметра, яке ми хочемо знати. Насправді, якщо ми робимо це знову і знову, продовжуючи вибірку та оцінку назавжди, ми виявимо, що відносна частота різних значень оцінювання йшла за розподілом ймовірності. Центральна межа теореми говорить про те, що це розподіл, ймовірно, є нормальним. Нам потрібен спосіб кількісної оцінки кількості невизначеності в цьому розподілі. Ось що робить стандартна помилка для вас.

У вашому прикладі ви хочете знати нахил лінійної залежності між x1 та y у сукупності, але у вас є лише доступ до вашої вибірки. У вашому зразку цей нахил становить .51, але не знаючи, скільки змінності є у відповідному розподілі вибірки , важко знати, що робити з цього числа. Стандартна помилка в цьому випадку - 0,05 - це стандартне відхилення цього розподілу вибірки. Щоб обчислити значущість, ви розділите оцінку на SE та шукаєте коефіцієнт, наведений у таблиці. Таким чином, великі СЕ означають меншу значущість.

Залишкове стандартне відхилення не має нічого спільного з розподілом вибірки ваших схилів. Це лише стандартне відхилення вашого зразка, що залежить від вашої моделі. Протиріччя немає, і не могло бути. Щодо того, як у вас більша SD з високим R ^ 2 і лише 40 точок даних, я б припустив, що у вас протилежне обмеження діапазону - ваші значення x поширюються дуже широко.


Відмінна і дуже чітка відповідь! Отже, в основному для другого питання SD вказує горизонтальну дисперсію, а R ^ 2 вказує на загальну придатність або вертикальну дисперсію?
upabove

7
@Dbr, рада допомогти. Зазвичай ми вважаємо, що змінна відгуку знаходиться на вертикальній осі, а змінна предиктора на горизонтальній осі. За допомогою цього налаштування все вертикально - регресія мінімізує вертикальні відстані між прогнозами та змінною реакції (SSE). Аналогічно, залишкова SD - це міра вертикальної дисперсії після врахування прогнозованих значень. Нарешті, R ^ 2 - відношення вертикальної дисперсії ваших прогнозів до загальної вертикальної дисперсії ваших необроблених даних.
gung - Відновіть Моніку
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.