Рідж і LASSO отримали структуру коваріації?


11

Прочитавши розділ 3 в Елементах статистичного навчання (Хасті, Тібшрани та Фрідман), я задумався, чи можна реалізувати відомі методи усадки, які цитуються у назві цього питання, з урахуванням структури коваріації, тобто мінімізувати (можливо, більш загальне ) кількість

(у-Хβ)ТV-1(у-Хβ)+λf(β),   (1)

замість звичайного Це в основному мотивувалося тим, що в моїй конкретній заявці у нас є різні відхилення для (а іноді навіть коваріаційної структури, яку можна оцінити), і я хотів би включити їх у регресії. Я зробив це для регресії хребта: принаймні при моїй реалізації цього в Python / C я бачу, що в шляхах є важливі відмінності, за якими простежуються коефіцієнти, що також помітно при порівнянні кривих перехресних перевірок в обох випадках.у

(у-Хβ)(у-Хβ)+λf(β).            (2)
у

Зараз я готувався спробувати реалізувати LASSO за допомогою найменшого кута регресії, але для цього я повинен спершу довести, що всі його приємні властивості все-таки дійсні при мінімізації (1) замість (2) . Поки що я не бачив жодної роботи, яка насправді все це робить, але деякий час тому я також прочитав цитату, яка сказала щось на кшталт " ті, хто не знає статистики, приречені наново її розкриття " (можливо, Бред Ефрон? ), тож ось чому я запитую тут спочатку (враховуючи, що я відносно новачок у статистичній літературі): це вже десь зроблено для цих моделей? Чи реалізована вона якось у R? (включаючи рішення та реалізацію гребеня шляхом мінімізації (1) замість (2), що ж реалізовано в коді lm.ridge в R)?

Заздалегідь дякую за відповіді!


Про попередню відповідь також повідомляється більше деталей у en.wikipedia.org/wiki/Generalized_least_squares . Рішення можна реалізувати, використовуючи підхід з можливих узагальнених найменших квадратів (FGLS)
Nicola Jean

Відповіді:


13

Якщо ми знаємо розклад Чолеського , скажімо, тоді і ми можемо використовувати стандартні алгоритми (з будь-якою функцією пеналізації, яка віддає перевагу), замінивши відповідь вектором та предиктори на матрицю .V-1=LТL

(у-Хβ)ТV-1(у-Хβ)=(Lу-LХβ)Т(Lу-LХβ)
LуLХ
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.