37

Я студент економіки з певним досвідом роботи з економетрикою та Р. Я хотів би знати, чи є колись ситуація, коли ми повинні включати змінну в регресію, незважаючи на те, що вона не є статистично значимою?

statistical-significance feature-selection

— EconJohn
джерело

1

У медичне дослідження ви б включили його, якщо воно передбачає якісну взаємодію. Подивіться твір Лейсі Гюнтера, про який я раніше згадував. Також книга Chakraborty та Moodie, опублікована Спрінгером у 2013 році. Назва - Статистичні методи для режимів динамічного лікування: підкріплення навчання, причинно-наслідкові умови та персоналізована медицина.

— Майкл Р. Черник

11

Врахуйте також, що статистична значимість є абсолютно довільною. Що значимого? 0,05? 0,1? 0,001? Якщо теоретичний фундамент існує, щоб включити предиктор, це достатня причина для його збереження.

— Еш

2

Коли ви говорите "не статистично значимий", ви розумієте, що це на рівні 5% впевненості, що є довільним вибором? (І чим більше змінних, тим виникає проблема з декількома тестуваннями).

— smci

1

@smci 0,05 = 5% рівень значущості відповідає рівню впевненості 95%, достатньо підстав, щоб уникнути змішування термінів в одному реченні. Оскільки існують процедури значущості без довірчого інтервалу в поле зору, зазвичай найпростіше використовувати той термін, який є більш доречним. Винятки становлять, коли ви пояснюєте посилання на вступному рівні.

— Нік Кокс

30

Так!

Те, що коефіцієнт статистично не відрізняється від нуля, не означає, що коефіцієнт насправді дорівнює нулю, що коефіцієнт не має значення. Те, що ефект не проходить деякого довільного відсічення за статистичною значимістю, не означає, що не слід намагатися контролювати його.

Взагалі кажучи, наявна проблема та ваша дослідницька конструкція повинні визначати, що потрібно включити до регресорів.

Деякі короткі приклади:

І не сприймайте це як вичерпний список. Складати тонни більше не важко ...

1. Фіксовані ефекти

Ситуація, коли це часто виникає, - це регресія з фіксованими наслідками .

Скажімо, у вас є дані панелі і ви хочете оцінити у моделі: $b$

y_{i t} = b x_{i t} + u_{i} + ϵ_{i t}

$y_{it} = b x_{it} + u_i + \epsilon_{it}$

Оцінка цієї моделі за допомогою звичайних найменших квадратів, де трактуються як фіксовані ефекти, еквівалентно виконанню звичайних найменших квадратів із змінною показника для кожного окремого . $u_i$ $i$

У будь-якому разі, справа в тому, що змінні (тобто коефіцієнти змінних індикаторів) часто погано оцінюються. Будь-який окремий фіксований ефект часто є статистично незначним. Але ви все-таки включаєте всі змінні індикатора в регресію, якщо враховуєте фіксовані ефекти. $u_i$ $u_i$

(Далі зауважте, що більшість пакетів статистики навіть не дадуть вам стандартних помилок для окремих фіксованих ефектів при використанні вбудованих методів. Вам не дуже важливо значення окремих фіксованих ефектів. Ви, мабуть, дбаєте про їх колективне значення .)

2. Функції, які йдуть разом ...

(a) Поліноміальна крива підганяння (підказка шапки @NickCox в коментарях)

Якщо ви підходите поліномій го ступеня до якоїсь кривої, ви майже завжди включаєте члени полінома нижчого порядку. $k$

Наприклад, якщо вам підходив поліном другого порядку, ви запускаєте:

y_{i} = b_{0} + b_{1} x_{i} + b_{2} x_{i}^{2} + ϵ_{i}

$y_i = b_0 + b_1 x_i + b_2 x_i^2 + \epsilon_i$

Зазвичай було б досить химерно змусити і замість цього запустити $b_1 = 0$

y_{i} = b_{0} + b_{2} x_{i}^{2} + ϵ_{i}

$y_i = b_0 + b_2 x_i^2 + \epsilon_i$

але студенти механіки Ньютона зможуть уявити винятки.

(b) моделі AR (p):

Скажімо, ви оцінювали модель AR (p), ви також включали умови нижчого порядку. Наприклад, для AR (2) ви запустили б:

y_{t} = b_{0} + b_{1} y_{t - 1} + b_{2} y_{t - 2} + ϵ_{t}

$y_t = b_0 + b_1 y_{t-1} + b_2 y_{t-2} + \epsilon_t$

y_{t} = b_{0} + b_{2} y_{t - 2} + ϵ_{t}

$y_t = b_0 + b_2 y_{t-2} + \epsilon_t$

(c) тригонометричні функції

$\cos$ $\sin$

Більш широко ...

Ви хочете включити змінні правої частини, коли для цього є вагомі теоретичні причини.

Оскільки інші відповіді тут і по всій StackExchange обговорюють, поетапний вибір змінних може створити численні статистичні проблеми.

Також важливо розрізняти:

коефіцієнт, статистично не відрізняється від нуля з невеликою стандартною помилкою.
коефіцієнт, що статистично не відрізняється від нуля з великою стандартною помилкою.

В останньому випадку стверджувати, що коефіцієнт не має значення. Це може бути просто погано виміряно.

— Меттью Ганна
джерело

u_{i}

$u_i$

b

$b$

u_{i}

$u_i$

u_{i}

$u_i$

u_{i}

$u_i$

5

Деякі дуже хороші відповіді, які, однак, вже трохи перекриваються, тому я обмежуся своїми прикладами коментарем тут. Поліноміальна підгонка : найчастіше квадратична майже завжди повинна бути встановлена подвійним актом лінійних і квадратних доданків. Навіть якщо на звичайних рівнях важливий лише один термін, ключовим є їх спільний ефект. Тригонометричні провідники Аналогічно, синус і косинус зазвичай належать разом, навіть якщо не вдаються до загальноприйнятих рівнів. Подвійні дії повинні бути встановлені як такі.

— Нік Кокс

2

@ NickCox Оскільки це вікі спільноти, і ваша думка має безпосереднє відношення до наведеної тут статті, я думаю, ваш коментар заслуговує того, щоб він був відредагований у відповідь на відповідному етапі. На мою думку, це занадто важливо, щоб залишатися простим коментарем, хоча, я думаю, ви маєте рацію, що це було б не найкраще як вільна відповідь

— Silverfish

@Silverfish Метью радо скопіювати. Мені здається, що це мало нахабно редагувати це в.

— Нік Кокс

1

@NickCox Ха-ха, мені все одно. :) Я додав ваші пропозиції і не соромтесь редагувати !.

— Меттью Ганн

14

Так, є. Будь-яка змінна, яка могла б суттєво співвіднестись із змінною вашої відповіді, навіть на статистично незначному рівні, може заплутати вашу регресію, якщо вона не включена. Це відоме як недооцінка і призводить до оцінок параметрів, які не такі точні, як могли б бути в іншому випадку.

https://onlinecourses.science.psu.edu/stat501/node/328

З вищезазначеного:

Модель регресії не визначена (результат 2), якщо в рівнянні регресії відсутня одна чи кілька важливих змінних прогнозів. Ця ситуація, мабуть, є найгіршим сценарієм, тому що, якщо не визначена модель дає упереджені коефіцієнти регресії та упереджені прогнози реакції. Тобто, використовуючи модель, ми б послідовно недооцінювали або завищували схили населення та засоби населення. Щоб зробити вже погані питання ще гіршими, середня квадратна помилка MSE має тенденцію до завищення σ², тим самим даючи більші інтервали довіри, ніж слід.

— подвійна проблема
джерело

4

Це не зовсім так. Для того, щоб бути заплутаною змінною, необхідно викликати пояснювану змінну та пояснювальну змінну (и), що цікавить. Якщо пояснювальні змінні, що цікавлять, викликають змінну, і вона впливає на результат, то це втручається змінна, і вам не слід контролювати її (якщо ви не хочете розкласти загальний ефект).

— Maarten Buis

1

Це дуже неадекватна дискусія на тему контролю за непорозумінням. Кореляція з результатом не є достатньою умовою для заплутаності та може призвести до неправильного уточнення причинно-наслідкових моделей шляхом контролю за посередниками: Це призводить до помилок, таких як "припинення куріння не знижує ризик серцево-судинних захворювань після контролю коронарного артеріального кальцію (САК)". CAC - це основний спосіб куріння, який дає вам серцеві захворювання. Дивіться Причинність Перла, 2-е видання, розділ 3 розділу 3.

— AdamO

Не соромтеся редагувати. Я не думав, що він шукає такої глибини у відповіді, вибачте, якщо моя стислість призвела до грубої неточності.

— doubletrouble

11

Зазвичай ви не включаєте чи не виключаєте змінні для лінійної регресії через їх значення. Ви включаєте їх, оскільки ви припускаєте, що вибрані змінні є (хорошими) предикторами критеріїв регресії. Іншими словами, вибір предиктора заснований на теорії.

Статистична незначність в лінійній регресії може означати дві речі (про які я знаю):

Незначні предиктори не пов'язані з критеріями. Виключіть їх, але майте на увазі, що незначність не доводить, що вони не пов'язані. Перевірте свою теорію.
Прогнози несуттєві, оскільки їх можна виразити як функції інших предикторів. Набір предикторів потім називається мультиколінеарним. Це не робить передбачувачів «поганими» в будь-якому сенсі, але зайвими.

Вагомою причиною виключення незначних прогнозів є те, що ви шукаєте найменший підмножина прогнозів, які пояснюють відхилення критеріїв або більшість його. Якщо ви знайшли це, перевірте свою теорію.

— Вольфганг
джерело

[P] редиктори критерії регресії ? Ви можете перефразувати це.

— Річард Харді

8

В економетрії це відбувається ліворуч і праворуч. Наприклад, якщо ви використовуєте щоквартальні муляжі сезонності Q2, Q3 та Q4, часто трапляється, що як група вони значущі, але деякі з них не мають значущого значення. У такому випадку ви зазвичай зберігаєте їх усі.

$y\sim x*z$ $z$ $x*z$

ОНОВЛЕННЯ: Ще один поширений приклад - прогнозування. Економетрію зазвичай викладають з точки зору висновку на економічних факультетах. У перспективі висновку велика увага приділяється p-значенням та значущості, тому що ви намагаєтесь зрозуміти, що викликає те, що і так далі. При прогнозуванні на цьому матеріалі не робиться особливого акценту, адже все, що вам важливо, - наскільки модель може спрогнозувати змінну, що цікавиться.

Це схоже на додатки машинного навчання, btw, які останнім часом пробиваються в економіку. Ви можете мати модель зі всіма значущими змінними, яка не добре прогнозує. У ML це часто асоціюється з так званими "over fitting". Очевидно, що така модель використовується в прогнозуванні дуже мало.

— Аксакал
джерело

1

Це здається дещо перебільшеним. Наприклад, навіть мені, як неекономісту з підручників, очевидно, що прогнозування широко навчається економістам принаймні кілька десятиліть. Чи відбулося «недавнє» (мається на увазі саме?) Збільшення - тонкіший момент, який я залишаю інсайдерам.

— Нік Кокс

@ NickCox, погодився, це звучало так, ніби в навчальних програмах взагалі не було прогнозування, що не відповідає дійсності.

— Аксакал

7

Ви задаєте два різні питання:

Коли статистичне значення не має значення?
Коли ми повинні включати змінну в регресію, незважаючи на те, що вона не є статистично значимою?

Редагувати: це стосувалося початкової публікації, але після змін не може бути істинним.

Щодо Q1, я вважаю, що це на кордоні, коли він занадто широкий. Є багато можливих відповідей, деякі вже надані. Ще один приклад - це побудова моделей для прогнозування (див. Джерело, яке цитується нижче, для пояснення).

Щодо Q2, статистична значимість не є надійним критерієм побудови моделі. Роб Дж. Хайндман пише у своєму блозі "Статистичні тести для варіативного вибору" наступного :

Статистична значимість, як правило, не є доброю основою для визначення того, чи слід змінну включати в модель, незважаючи на те, що багато людей, які повинні знати, краще використовувати їх саме для цієї мети. <...> Статистичні тести були розроблені для перевірки гіпотез, а не вибору змінних.

Також зауважте, що часто можна знайти деякі змінні, які є статистично значущими випадково (випадковість контролюється вибором рівня значущості). Спостереження про те, що змінна є статистично значущою, недостатньо для висновку, що змінна належить до моделі.

— Річард Харді
джерело

4

Додам ще «так». Мене завжди вчили - і я намагався передати це - що головний погляд при виборі коваріату - це знання домену, а не статистика. У біостатистиці, наприклад, якщо я моделювати деякі результати здоров'я на окремих особах, то незалежно від того , що говорить регресія, ви будете потребувати в деяких штопати хороші аргументи для мене не включати вік, расу і стать в моделі.

Це також залежить від мети вашої моделі. Якщо метою є краще розуміння того, які фактори найбільше пов'язані з вашим результатом, то побудова парсимоніальної моделі має деякі достоїнства. Якщо ви дбаєте про передбачення, а не стільки про розуміння, то усунення коваріатів може бути меншою проблемою.

(Нарешті, якщо ви плануєте використовувати статистику для вибору змінної, перевірте, що Френк Харрелл має сказати з цього приводу - http://www.stata.com/support/faqs/statistics/stepwise-regression-problems/ і його книга " Стратегії моделювання регресії" . Коротше кажучи, до того часу, коли ви використовували поетапні або подібні статистично обґрунтовані стратегії для вибору найкращих прогнозів, то будь-які тести "чи ці хороші прогнози?" страшенно упереджені - звичайно, вони " повторно хороші прогнози, ви вибрали їх на цій основі, і тому значення p для цих прогнокторів помилково низьке.)

— eac2222
джерело

1

@EconJohn І статистика моделі F ,

R^{2}

$R^{2}$ s, і ефект оцінюється помилково високим ... і поетапно підібраними моделями, що мають однакову ймовірність збереження справжніх предикторів та хибних прогнозів, а також про однакову ймовірність видалення справжніх предикторів та помилкових предикторів.

— Олексій

4

Єдине, про що справді говорять результати «статистичної незначущості» - це те, що на вибраному рівні помилки типу I ми навіть не можемо сказати, чи є вплив регресора на залежну змінну позитивним чи негативним (див. Цей пост).

Отже, якщо ми тримаємо цього регресора, будь-яке обговорення його власного впливу на залежну змінну не має статистичних доказів, щоб підтвердити це.

Але ця невдача оцінки не говорить про те, що регресор не належить до структурного відношення, він лише говорить про те, що за допомогою конкретного набору даних ми не змогли з певною визначеністю визначити знак його коефіцієнта.

Так що в принципі, якщо є теоретичні аргументи, які підтверджують його присутність, регресора слід зберігати.

Інші відповіді тут надавали конкретні моделі / ситуації, для яких такі регресори зберігаються в специфікації, наприклад відповідь, що згадує модель даних панелі з фіксованими ефектами.

— Алекос Пападопулос
джерело

Навіщо перетягувати "рівень довіри" до обговорення важливості? Я часто читаю жахливі почуття у бідних текстах та документах, таких як "значущий на рівні 99% довіри". Між ідеями, безумовно, існує взаємозв'язок, але це формулювання вам не потрібно (що на елементарному рівні заплутує стільки, скільки пояснює).

— Нік Кокс

@Nick Cox У вас є бал. Я змінив його на "Помилка I типу".

— Алекос Пападопулос

1

Ви можете включити змінну, яка представляє особливий інтерес, якщо вона зосереджена на дослідженні, навіть якщо вона не є статистично значимою. Також у біостатистиці клінічне значення часто відрізняється від статистичного значення.

— Скотт Джексон
джерело

Коли слід включати змінну в регресію, незважаючи на те, що вона не є статистично значимою?

Деякі короткі приклади:

1. Фіксовані ефекти

2. Функції, які йдуть разом ...

(a) Поліноміальна крива підганяння (підказка шапки @NickCox в коментарях)

(b) моделі AR (p):

(c) тригонометричні функції

Більш широко ...