охоплення довірчих інтервалів з регульованими оцінками

21

Припустимо, я намагаюся оцінити велику кількість параметрів за деякими великомірними даними, використовуючи якісь регульовані оцінки. Регуляризатор вносить певні упередження до оцінок, але це все ще може бути гарним компромісом, оскільки зменшення дисперсії повинно перевищувати його.

Проблема виникає, коли я хочу оцінити довірчі інтервали (наприклад, використовуючи наближення Лапласа або завантажуючи). Зокрема, зміщення моїх оцінок призводить до поганого покриття моїх довірчих інтервалів, що ускладнює визначення частотистських властивостей мого оцінювача.

Я знайшов деякі документи, що обговорювали цю проблему (наприклад, "Асимптотичні довірчі інтервали в регресії хребта на основі розширення Еджворта" ), але математика здебільшого над моєю головою. У зв'язаному документі рівняння 92-93 здаються коригуючим коефіцієнтом для оцінок, які регулювались регресією хребта, але мені було цікаво, чи існують хороші процедури, які б працювали з низкою різних регуляризаторів.

Навіть корекція першого порядку була б надзвичайно корисною.

confidence-interval  bias  regularization  ridge-regression  coverage-probability 
— Девід Дж. Харріс
джерело
4
+1 своєчасне та важливе запитання - хоча я не впевнений, що в даний час хтось може відповісти на це ствердно (я думаю, ми просто не знаємо, як це зробити правильно, і якби я знав, я мав би пару літописів Статистичні статті вишикувалися). Питання, пов’язані з цим: stats.stackexchange.com/questions/91462/… Ми знаємо, що завантажувальний процес працює в таких ситуаціях виключно, але це не допоможе.
— Момо
Дякуємо за посилання Чи можете ви пояснити, що ви мали на увазі щодо завантажувального завантаження?
— Девід Дж. Харріс
Крім того, я все ще сподіваюся, що хтось може мати методи, які добре працюють для нерідких регуляризаторів. Я б міг уявити, що штраф L1 ускладнює справи через усі оцінки, складені в нулі. Знову дякую.
— Девід Дж. Харріс
1
Дейв, чи підійдуть так звані інтервали відбору Тібшірані та співавторів? Вони розробили їх щонайменше для Лассо, ЛАРС та покрокової регресії через щось, що називається багатогранною формою . З цього ви можете, по суті, формувати довірчі інтервали звичайним способом, але використовуючи усічений нормальний з обмеженнями & повідомленими з даних. Поверхові деталі плюс посилання на фактичні документи (більшість з яких є на ArXiv) є у Taylor & Tibshirani (2015, PNAS) . cг
— Відновіть Моніку - Г. Сімпсон
1
Доповідь Рубена Дезере, Пітера Бюльмана, Лукаша Мейєра та Ніколая Майнсхаузена - наскільки я знаю, є найсвіжішим та всеосяжним описом про висновки в об'ємній обстановці.
— NRH

Відповіді:

4

Існує нещодавній документ, який точно стосується вашого питання (якщо ви хочете провести регресію за вашими даними, наскільки я розумію) і, на щастя, дає вирази, які легко обчислити (Інтервали довіри та тестування гіпотези для високомірної регресії).

Також вас може зацікавити нещодавня робота Петра Бюльмана з цієї самої теми. Але я вважаю, що перший документ дає вам те, що ви шукаєте, і вміст легше засвоюється (я теж не статистик).

— jpmuc
джерело
+1 Цікавий папір. Тож, мабуть, є щонайменше три конкуруючі ідеї, як підходити до цих проблем, і, як я бачу, вони не є тісно пов'язаними. Тоді також є теорема неможливості від journals.cambridge.org/action/… Буде цікаво подивитися, як це відбувається і що виникає як канонічне.
— Момо
Спасибі. Це може бути не те, що я насправді в змозі реалізувати, але це здається, що математика працює для різних регульованих оцінок.
— Девід Дж. Харріс
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.