Оцінка R-квадратної та статистичної значущості за допомогою пеналізованої регресійної моделі

Я використовую пакет R штрафується отримати зморщені оцінки коефіцієнтів для набору даних , де у мене є багато провісників і мало знань, які з них мають важливе значення. Після того, як я вибрав параметри настройки L1 і L2, і я задоволений своїми коефіцієнтами, чи є статистично обгрунтований спосіб узагальнити підхід моделі з чимось на зразок R-квадрата?

Крім того, мені цікаво перевірити загальну значущість моделі (тобто R² = 0, чи все = 0).

Я прочитав відповіді на подібне запитання, яке я тут задавав , але це не зовсім відповіло на моє запитання. Про пакет R, який я тут використовую , є чудовий підручник , і автор Джеллі Геман в кінці підручника мав таку примітку щодо інтервалів довіри від пеналізованих регресійних моделей:

Цілком природним є запитання про стандартні похибки коефіцієнтів регресії або інших розрахункових величин. В принципі, такі стандартні помилки можна легко обчислити, наприклад, використовуючи завантажувальну систему.

І все-таки цей пакет їх свідомо не надає. Причиною цього є те, що стандартні помилки не мають великого значення для сильно упереджених оцінок, як-от виникають у результаті пеналізованих методів оцінки. Пеналізоване оцінювання - це процедура, яка зменшує дисперсію оцінювачів, вводячи істотні зміщення. Тому зміщення кожного оцінювача є головною складовою його середньої квадратичної помилки, тоді як його дисперсія може сприяти лише невеликій частині.

На жаль, у більшості застосувань пенізованої регресії неможливо отримати досить точну оцінку зміщення. Будь-які розрахунки на основі завантажувальної програми можуть давати оцінку лише дисперсійності оцінок. Надійні оцінки зміщення доступні лише за наявності надійних неупереджених оцінок, що, як правило, не відбувається в ситуаціях, коли застосовуються пеніалізовані оцінки.

Повідомлення про стандартну помилку штрафної оцінки означає лише частину історії. Це може створити помилкове враження великої точності, повністю ігноруючи неточність, викликану упередженням. Звичайно, помилково робити довіри, які ґрунтуються лише на оцінці дисперсії оцінок, таких як інтервали довіри на основі завантажувальної програми.

— Стівен Тернер
джерело

Звичайно, один із способів швидко отримати оцінку R-квадрата - це встановлення лінійної моделі, що передбачає встановлені значення за вихідними даними та взяття R-квадрата з цього. Але це здається, що це було б масово перевитратним і необ'єктивним оцінкою R-квадрата.

— Стівен Тернер

Я додаю це як коментар, оскільки я задаю "подібний" питання в сусідньому дописі (тому я не знаю, чи можу я відповісти як відповідь ), але для вашого запитання конкретно здається, що ви можете розрахувати R-квадрат, не вимагаючи жодного розподільні припущення (хоча вони потрібні для тестів гіпотез звичайним способом). Чи не можете ви використати набір утримування для обчислення r-квадрата або використовувати валідацію k-кратної, якщо у вас недостатньо даних (під час кожного запуску виконайте повний пенізований процес і середнє значення r-квадратів від кожної з складок не використовується в примірці)?

— B_Miner

@B_Miner,

-кратне перехресне підтвердження має тенденцію давати досить необ’єктивні оцінки

, оскільки воно, як правило, не оцінює справжню кількість інтересів. Багато (більшість?) Подібних процедур мають однакові проблеми.

k

$k$

R^{2}

$R^2$

— кардинал

@Stephen, чи справді

кількість, яка вас цікавить? Через упередженість, спричинену пеналізацією, перегляд лише поясненої дисперсії, мабуть, небажаний, якщо ви вже не маєте дуже гарної оцінки зміщення. Вся ідея використання

в якості основи для висновку базується на неупередженості оцінок. Навіть основні підручники з регресії, здається, «забувають» це. (Дивіться, наприклад, дещо несправне ставлення Себера та Лі до

у випадку множинної регресії.)

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

— кардинал

R^{2}

$R^2$

Відповіді:

Моя перша реакція на дані коментарів Джелле - це "упередженість шмій". Ви повинні бути обережними, що ви маєте на увазі під "великою кількістю прогнозів". Це може бути "великим" стосовно:

Кількість точок даних ("великий p малий n")
Кількість часу, яке вам доведеться дослідити змінні
Обчислювальна вартість інвертування гігантської матриці

Моя реакція ґрунтувалася на "великій" щодо пункту 1. Це тому, що в цьому випадку зазвичай варто компенсувати упередження за зменшення дисперсії, яке ви отримаєте. Зміщення важливо лише "в довгостроковій перспективі". Отже, якщо у вас є невеликий зразок, то хто дбає про "довгострокові"?

Сказавши все це вище, , мабуть, не дуже гарна кількість для обчислення, особливо коли у вас є велика кількість змінних (тому що це майже все, що говорить вам: у вас багато змінних). Я б обчислив щось більше, як "помилка передбачення", використовуючи перехресну перевірку. $R^2$ $R^2$

В ідеалі ця "помилка передбачення" повинна базуватися на контексті вашої модельної ситуації. Ви в основному хочете відповісти на питання "Наскільки добре моя модель відтворює дані?". Контекст вашої ситуації повинен бути в змозі сказати вам, що "наскільки добре" означає в реальному світі. Потім вам потрібно перекласти це в якесь математичне рівняння.

П R Е S S = \sum_{i = 1}^{N} (Y_{i} - {\hat{Y}}_{i, - i})^{2}

$PRESS=\sum_{i=1}^{N} (Y_{i}-\hat{Y}_{i,-i})^2$

{\hat{Y}}_{i, - i}

$\hat{Y}_{i,-i}$

Y_{i}

$Y_{i}$

Y_{i}

$Y_i$

N

$N$

T

$T$

M

$M$

G = \frac{T}{M}

$G=\frac{T}{M}$

N_{g} = \frac{N \times M}{T}

$N_{g}=\frac{N\times M}{T}$

П R Е S S = \sum_{г = 1}^{Г} \sum_{i = 1}^{N_{г}} (Y_{i г} - {\hat{Y}}_{i г, - г})^{2}

$PRESS=\sum_{g=1}^{G}\sum_{i=1}^{N_{g}} (Y_{ig}-\hat{Y}_{ig,-g})^2$

\frac{β_{L A S S O}}{β_{U N C O N S T R A I N E D}}

$\frac{\beta_{LASSO}}{\beta_{UNCONSTRAINED}}$

— ймовірністьіслогічна
джерело

k

$k$

p > n

$p > n$

> 1

$> 1$

Пакет R hdm та пакет Stata lassopack підтримують спільний тест значущості для ласо. Теорія дозволяє, щоб кількість предикторів була великою відносно кількості спостережень. Теорія, що стоїть за тестом і як його застосувати, коротко пояснена в документації hdm . Коротше кажучи, вона базується на структурі теоретичної кари (розроблена Беллоні, Чорножуковим та Хансеном та ін.). Цей документ є гарною відправною точкою, якщо ви хочете дізнатися більше про базову теорію. Єдиний мінус полягає в тому, що тест працює тільки для ласо і (квадратне коріння ласо). Не для інших методів регресії, що караються.

Belloni, A., Chen, D., Chernozhukov, V. and Hansen, C. (2012), Розріджені моделі та методи оптимальних інструментів із застосуванням до видатного домену. Економетрика, 80: 2369-2429.

— aahr1
джерело

будь ласка, додайте повне посилання на статтю (посилання може померти)

— Антуан