Висновок після використання Lasso для вибору змінної

Я використовую Lasso для вибору функцій у відносно низькому розмірі (n >> p). Після встановлення моделі Лассо я хочу використовувати коваріати з ненульовими коефіцієнтами, щоб відповідати моделі без штрафних санкцій. Я роблю це, тому що хочу об'єктивних оцінок, які Лассо мені не може дати. Я також хотів би p-значень та довірчих інтервалів для неупередженої оцінки.

У мене виникають проблеми з пошуком літератури на цю тему. Більшість літератури, яку я знайду, стосується розміщення інтервалів довіри на оцінках Лассо, а не переоформленої моделі.

З того, що я прочитав, просто перевстановлення моделі за допомогою всього набору даних призводить до нереально малих помилок p-значень / std. Наразі поділ зразків (у стилі Вассермана та Редера (2014) або Meinshausen et al. (2009)) здається хорошим ходом дій, але я шукаю більше пропозицій.

Хтось стикався з цим питанням? Якщо так, то можете, будь ласка, надати кілька пропозицій.

— EliK
джерело

Я не розумію, чому це повинно мати значення, якщо оцінювач ласо є упередженим, доки довірчі інтервали мають (принаймні асимптотично) правильне покриття. Це єдина причина, чому ви хочете підходити до оцінок OLS щодо підтримки, відновленої ласо?

— користувач795305

Можливо, я неправильно зрозумів, що я прочитав, але чи не асимптотично правильне покриття не посилається на упереджену оцінку, а не на справжню розріджену, але неупереджену оцінку?

— EliK

Я не впевнений, що ви маєте на увазі під "справжньою мізерною, але неупередженою" оцінкою, але якщо ви знаєте, що в оцінках "ласо" є довірчі інтервали з асимптотично правильним покриттям, робити нічого більше не слід. Документ, що тільки що зв'язаний Greenparker (+1), є дійсно цікавим (і останнім, який я знаю на цю тему), який обговорює (частково), як можна було б розробити асимптотично правильні інтервали довіри на коефіцієнтах lasso та ols. Я намагаюся зазначити, що вам не потрібно підходити до OLS, щоб отримати неупереджені коефіцієнти, оскільки неупередженість не має значення.

— user795305

Я думаю, що я нерозумів. Асимптотично правильне покриття, на яке ви посилаєтесь, стосується істинного параметра. Отже, хоча Лассо дає упереджені коефіцієнти, ми можемо побудувати довірчі інтервали, які мають правильне покриття для істинного параметра?

— EliK

Оскільки ви обрали модель, у вас не буде необгрунтованих оцінок, якщо ви оціните без Lasso. Коефіцієнти доданків у моделі після select-змінних, а потім-fit-via-OLS будуть фактично відхилені від 0 (як і в інших формах вибору змінних). Невелика кількість усадки може фактично зменшити зміщення.

— Glen_b -Встановіть Моніку

Відповіді:

Щоб додати до попередніх відповідей. Ви обов'язково повинні ознайомитися з останніми роботами Тібшірані та колегами. Вони розробили жорстку основу для виведення з коригуванням вибору р-значень та інтервалів довіри для методів типу lasso, а також забезпечують пакет R.

Побачити:

Лі, Джейсон Д. та ін. "Точний висновок після вибору із застосуванням до ласо." Аналіз статистики 44.3 (2016): 907-927. ( https://projecteuclid.org/euclid.aos/1460381681 )

Тейлор, Джонатан та Роберт Дж. Тібшірані. "Статистичне навчання та вибіркове висновок". Праці Національної академії наук 112.25 (2015): 7629-7634.

R-пакет:

https://cran.r-project.org/web/packages/selectiveInference/index.html

— Б.Шуберт
джерело

Як правило, повторне повторне використання пенальті після вибору змінної через Лассо вважається обманом, оскільки ви вже подивилися на дані, і отримані p-значення та довірчі інтервали не дійсні у звичайному розумінні.

$p$

набір змінних, обраних ласо, детермінований і не даних залежить з високою ймовірністю.

Таким чином, зазирнути до даних двічі не є проблемою. Вам потрібно буде перевірити, чи є для вашої проблеми умови, зазначені у папері, чи ні.

(У статті також багато корисних посилань)

Довідка:

Чжао, С., Шоджайе, А., і Віттен, Д. (2017). На захист невиправданого: Дуже наївний підхід до великомірного висновку. Отримано з: https://arxiv.org/pdf/1705.05543.pdf

— Грінпаркер
джерело

+1 Варто зазначити, однак, що автори прямо не рекомендують їх підхід, окрім "у дуже великих налаштуваннях даних": "Ми не радимо застосовувати описаний вище підхід у більшості практичних налаштувань аналізу даних: ми впевнені що на практиці ... такий підхід буде погано виконуватись, коли розмір вибірки невеликий або помірний, та / або припущення не виконані "(на с. 27). Для докладу, цей документ - Чжао, Шоджаі та Віттен, " Захист невідступного: дуже наївний підхід до великомірного висновку" (16 травня 2017 р.).

— whuber

@whuber А також майте на увазі, що цей документ розміщено на arxiv.org - не впевнений, чи був він рецензований, щоб виникли інші проблеми з авторською методологією.

— RobertF

Я хотів додати кілька робіт з ортогональної / подвійної машинної літератури, яка стає популярною в літературі з прикладної економетрії.

Беллоні, Олександр, Віктор Чорножуков та Крістіан Гансен. "Висновок про ефекти лікування після вибору серед високомірних засобів контролю." Огляд економічних досліджень 81.2 (2014): 608-650.

У цій роботі розглянуто теоретичні властивості оцінки OLS ефекту змінної після вибору "інших" елементів керування за допомогою LASSO.
Віктор Чорножуков, Денис Четвериков, Мерт Демірер, Естер Дуфло, Крістіан Хансен, Вітні Ньюі, Джеймс Робінс, подвійне / дебізоване машинне навчання для лікування та структурних параметрів, Журнал Econometrics, Том 21, Випуск 1, 1 лютого 2018 року, Сторінки C1 – C68 , https://doi.org/10.1111/ectj.12097

Це розвиває всебічну теорію використання ряду непараметричних методів (алгоритмів ML) для нелінійного контролю високого розміру параметра неприємності (конфузорів), а потім вивчення впливу конкретного коваріату на результат. Вони мають справу з частково-лінійними рамками та повністю параметричними рамками. Вони також розглядають ситуації, коли змінна інтерес заплутана.

— FightMilk
джерело