Стабільність моделі в перехресній валідації регресійних моделей

10

З огляду на множину перехресних перевірок логістичної регресії та отримані множинні оцінки кожного коефіцієнта регресії, як слід вимірювати, чи є прогноктор (чи набір предикторів) стійким та значущим на основі коефіцієнтів (ів) регресії ? Чи відрізняється це від лінійної регресії?

regression model-selection cross-validation

— Джек Таннер
джерело

@BGreene Дуже розумно. Чому б не опублікувати це як відповідь? Ви також змушуєте мене замислитися, чи вміє ансамбль, що вивчає літературу, щось важливе.

— Джек Таннер

Коли ви говорите "багаторазова перехресна перевірка", ви маєте на увазі, що ви запускаєте разів кратну перехресну перевірку?

m

$m$

k

$k$

— boscovich

@andrea, я кажу "множинні перехресні перевірки", тобто складки.

k

$k$

— Джек Таннер

2

Ви можете розглядати коефіцієнти регресії, отримані в результаті кожного тестового складання в резюме, як незалежні спостереження, а потім обчислювати їх надійність / стабільність, використовуючи внутрішньокласний коефіцієнт кореляції (ICC), як повідомляли Shrout & Fleiss.

— BGreene
джерело

0

Я припускаю, що ви в ході перехресної перевірки розділите дані на дві частини, навчальний набір і тестовий набір. В одну складку ви поміщаєте модель з навчального набору і використовуєте її для прогнозування відповіді тестового набору, правда? Це дасть вам коефіцієнт помилок для всієї моделі, а не для одного передбачувача.

Я не знаю, чи можна знайти значення р для предикторів, використовуючи щось на зразок F-тестів, що використовуються в звичайній лінійній регресії.

Ви можете спробувати видалити прогнози з моделі, використовуючи, наприклад, вибір назад або вперед, якщо це ваша мета.

Ви можете замість резюме використати завантажувальний інструмент, щоб знайти довірчий інтервал для кожного прогноктора, а потім побачити, наскільки він стабільний.

Скільки складок ви використовуєте у своєму резюме, чи це взаємна перехресна перевірка?

Можливо, більше детальних відомостей щодо вашої мети допоможе відповісти на це питання.

— Тобіас Абеніус
джерело

Припустимо, це відпустка. Кожен предиктор у кожній складці вже має довірчий інтервал, наприклад, від байєсівської задньої CI або std помилки з glm(..., family="binomial")у Р. Що мені робити з інтервалами для кожного передбачувача через пробіг "один-один"?

— Джек Таннер