Тестування значущості або перехресне підтвердження?

20

Два загальні підходи до вибору корельованих змінних - це тести значущості та перехресне підтвердження. Яку проблему кожен намагається вирішити і коли я віддаю перевагу одній над іншою?

cross-validation feature-selection

— JohnRos
джерело

22

По-перше, давайте бути явним і ставити питання в контексті множинної лінійної регресії, де ми регресуємо змінну відповіді, , на декілька різних змінних (корельована чи ні), з векторним параметром і регресійна функція $y$ $x_1, \ldots, x_p$ $\beta = (\beta_0, \beta_1, \ldots, \beta_p)$
яка могла б бути моделлю середньої змінної відгуку для даного спостереження .

f (х_{1}, \dots, х_{p}) = β_{0} + β_{1} х_{1} + \dots + β_{p} х_{p},

$f(x_1, \ldots, x_p) = \beta_0 + \beta_1 x_1 + \ldots + \beta_p x_p,$

x_{1}, \dots, x_{p}

$x_1, \ldots, x_p$

Питання полягає в тому , щоб вибрати підмножина з «S бути відмінний від нуля, і, зокрема, порівняння тестування значущості по порівнянні з перехресної перевірки . $\beta_i$

Щоб бути чітко зрозумілим щодо термінології, перевірка значимості - це загальне поняття, яке проводиться по-різному в різних контекстах. Це залежить, наприклад, від вибору тестової статистики. Перехресне підтвердження - це дійсно алгоритм оцінки очікуваної помилки узагальнення , що є важливим загальним поняттям і залежить від вибору функції втрат.

Очікуються помилка узагальнення трохи технічна формально визначити, але на словах це очікується втрата підібраною моделі , коли використовуються для прогнозування на незалежному безліч даних , де математичне сподівання за даними , які використовуються для оцінки, а також незалежних даних набір, що використовується для прогнозування

$\beta_1$

$\beta_1 = 0$ $p$ $\beta_1 = 0$ $p$
$\beta_1 = 0$ $\beta_1 = 0$ $\beta_1$ може також відрізнятися від 0, і тоді ми можемо порівняти дві оцінені помилки. Залежно від обраної нами моделі, найменша.

$\beta_1 \neq 0$

$\beta_1$ $\beta_1$ $-$

$p$ $p$

$p$ $p$ $\beta_1$ $\beta_1$

— NRH
джерело

17

Просто використання тестів на значущість та покрокова процедура для вибору моделі може привести вас до думки, що у вас дуже сильна модель зі значущими прогнозами, коли ви, власне, цього не робите; Ви можете отримати сильну кореляцію випадково, і ці кореляції, здавалося б, можна покращити, якщо ви видалите інші непотрібні прогнози.

Процедура відбору, звичайно, зберігає лише ті змінні, які мають найсильнішу кореляцію з результатом, і, коли покрокова процедура рухається вперед, ймовірність вчинити помилку типу I стає більшою, ніж ви могли собі уявити. Це пояснюється тим, що стандартні помилки (і, таким чином, p-значення) не коригуються з урахуванням того факту, що змінні не були відібрані для включення в модель випадковим чином і для вибору цього набору було проведено кілька тестів гіпотез.

У Девіда Фрідмана є симпатичний документ, в якому він демонструє ці моменти під назвою " Примітка про рівняння регресійних рівнянь ". Реферат:

$R^2$ $R^2$

Як ви вже згадували, одним із потенційних рішень цієї проблеми є використання варіантів перехресної перевірки. Коли у мене немає хорошої економічної (моя область досліджень) чи статистичної причини вважати свою модель, це мій переважний підхід до вибору відповідної моделі та проведення висновку.

Інші респонденти можуть згадати, що поетапні процедури, що використовують AIC або BIC, асимптотично еквівалентні перехресній валідації. Це працює лише тоді, коли кількість спостережень відносно кількості предикторів стає значною. У контексті наявності багатьох змінних щодо кількості спостережень (Фрідман каже 1 змінна на 10 або менше спостережень), вибір таким чином може проявляти погані властивості, про які йшлося вище.

У епоху потужних комп'ютерів я не бачу причин не використовувати перехресну перевірку як процедуру вибору моделі для покрокового вибору.

— Чарлі
джерело

Чи можете ви дати посилання на покрокові процедури, що використовують AIC або BIC, асимптотично еквівалентні перехресній валідації ? Я читав про еквівалентність AIC / BIC перехресній валідації, але не поступово.

— Річард Харді