Обчислення найкращого набору предикторів для лінійної регресії

9

Для вибору провісників в багатовимірної лінійної регресії з відповідними провісниками, які методи доступні , щоб знайти «оптимальні» підмножина предикторов без явного тестування всіх підмножин? У "Прикладному аналізі виживання" Хосмер і Лемшоу посилаються на метод Кука, але не можу знайти оригінальний документ. Чи може хтось описати цей метод чи, ще краще, більш сучасну техніку? Можна припустити нормально розподілені помилки. $p$ $2^p$

— шабчеф
джерело

1

Ви посилаєтесь на наступний документ? Kuk, AYC (1984) Усі підмножини регресії в пропорційній моделі небезпеки. Biometrika, 71, 587-592

— хл

так, справді. Я думаю, мені доведеться якось викопати цей папір. Однак це здається старим.

— shabbychef

2

Знайдіть цю статтю тим часом, метод Ласо для варіативного вибору в моделі Кокса, від Тібшірані (Stat. Med. 1997 16: 385-395), j.mp/bw0mB9 . HTH

— chl

1

і цей останній (тісно пов'язаний з penalizedпакетом R), j.mp/cooIT3 . Можливо, і цей, j.mp/bkDQUj . Ура

— чл

12

Я ніколи не чув про метод Кука, але гаряча тема сьогодні - це мінімізація L1. Обґрунтування полягає в тому, що якщо ви використовуєте штрафний термін абсолютного значення коефіцієнтів регресії, то неважливі повинні бути нульовими.

Ці прийоми мають деякі кумедні назви: Лассо, ЛАРС, селектор Данціга. Ви можете прочитати статті, але гарне місце для початку - це Елементи статистичного навчання , Глава 3.

— Саймон Берн
джерело

2

BTW, санкціонований пакет R ( j.mp/bdQ0Rp ) включає l1 / l2 пеніалізовану оцінку для узагальнених лінійних моделей та моделей Кокса.

— chl

застрягли в матлабській землі, реалізуючи її сам ...

— shabbychef

ЛАРС - це чудово, BTW. дуже класні речі. не впевнений, як я можу вкласти це в рамках моделі пропорційних небезпек Кокса, т ...

— shabbychef

2

Програмне забезпечення Glmnet має модель Lasso'd Cox PH: cran.r-project.org/web/packages/glmnet/index.html також є версія MATLAB (не впевнений, чи має вона модель Cox): www-stat .stanford.edu / ~ tibs / glmnet-matlab

— Саймон

3

Це величезна тема. Як вже згадувалося раніше, Хасті, Тібширані та Фрідман дають хороший вступ у Ч3 Елементів статистичного навчання.

Кілька пунктів. 1) Що ви маєте на увазі під «найкращим» чи «оптимальним»? Що найкраще в одному сенсі, а не в іншому найкраще. Два загальних критерії - прогнозована точність (прогнозування змінної результату) та створення об'єктивних оцінок коефіцієнтів. Деякі методи, наприклад, Lasso & Ridge Regression, неминуче дають упереджені оцінки коефіцієнтів.

2) Сама фраза "кращі підмножини" може використовуватися в двох окремих сенсах. Взагалі для позначення найкращого підмножини серед усіх прогнозів, що оптимізує деякі критерії побудови моделі. Більш конкретно, він може посилатися на ефективний алгоритм Фурніваля і Вілсона для пошуку цього підмножини серед помірних (~ 50) чисел лінійних предикторів (Регресії по стрибках і меж. Технометрика, т. 16, № 4 (листопад, 1974), с. 499-51)

http://www.jstor.org/stable/1267601

— Тилаколео
джерело

1) так, питання дещо неоднозначне; Як ви вже згадуєте, існує багато визначень «оптимального»: за допомогою інформаційного критерію, перехресної перевірки тощо. Більшість евристичних підходів, які я бачив до проблеми, протікають шляхом поетапного додавання / вилучення прогнозів: одночасне додавання вперед або віднімання тощо Однак Hosmer & Lemeshow посилаються на цей метод (варіант роботи Lawless & Singhal), який якимось чином "магічно" вибирає передвісників за допомогою одного обчислення MLR (модуль деяких інших матеріалів). Мені дуже цікаво цей метод ...

— shabbychef

0

Що я дізнався, що спочатку використовують підхід до найкращих підмножин як інструмент екранування, а потім покрокові процедури вибору можуть допомогти вам нарешті визначити, які моделі можуть бути найкращими підмножинами (на даний момент кількість цих моделей досить мала). Якщо одна з моделей відповідає умовам моделі, добре справляється з узагальненням тенденції даних і, головне, дозволяє відповісти на ваше дослідницьке запитання, то привітання виконано.

— Розі Луо
джерело

1

Я думаю, ви можете це неправильно пам'ятати. Кращі підмножини набагато дорожче обчислювальних, ніж ступінчасті, але обов'язково вловлюватимуть що-небудь ступінчасто, так що ви покроково використовуєте для екранізації та найкращих підмножин після. FWIW, я не погоджуюся з наївним використанням цих стратегій з причин, які я обговорюю у своїй відповіді тут: алгоритми автоматичного вибору моделі .

— gung - Відновіть Моніку