Розуміння завантажувальної програми для перевірки та вибору моделі

Я думаю, що я розумію, як працюють основи завантаження , але я не впевнений, що розумію, як я можу використовувати завантажувальний інструмент для вибору моделі або щоб уникнути зайвого набору.

Для вибору моделі, наприклад, ви б просто обрали модель, яка дає найменшу помилку (можливо, дисперсію?) У всіх зразках завантажувальної програми?

Чи є тексти, які обговорюють, як використовувати завантажувальний інструмент для вибору моделі або перевірки?

РЕДАКТУВАННЯ: Дивіться цю тему та відповідь від @ mark999, щоб дізнатися більше про контекст цього питання.

model-selection cross-validation bootstrap

— Амеліо Васкес-Рейна
джерело

@suncoolsu Якщо у мене є вибір A, B і C, я зазвичай вибираю перехресну перевірку або завантажувальний вибір, щоб вибрати модель, коли 1) я зацікавлений у точності прогнозування / ранжируванні та 2) у мене немає достатньої кількості даних для витримки набір перевірки. Чому це не буде гарною ідеєю (і я знаю, що перевірка вкладеності важлива для вибору функції тощо).

— B_Miner

Відповідь @ mark999 у цій нитці пропонує перевірку завантаження як рішення для вивчення моделі на повному наборі даних, поки все ще справляєтесь із надмірною обробкою. Саме ця відповідь значною мірою надихнула це питання, і оригінальне запитання в цій темі також повинно додати контексту до цього питання.

— Амеліо Васкес-Рейна

Мені шкода - напевно, це я, як статистик, - але я вважаю перехресну перевірку і завантаження як дві різні речі. Перехресне підтвердження є чудовим і його потрібно робити (і завантажувати також). Але якщо у вас є такі сценарії, як вибір між A, B, C (лише три моделі), BIC може бути кращим вибором. Як я вже говорив, рішення залежить від проблеми, яка існує, і кілька підходів можуть бути доречними.

— suncoolsu

Загалом AIC дає менший недолік, ніж BIC.

— Френк Харрелл

Відповіді:

Спочатку ви повинні вирішити, чи дійсно вам потрібен вибір моделі, чи вам просто потрібно моделювати. У більшості ситуацій, залежно від розмірності, бажано пристосувати гнучку комплексну модель.

Завантажувальний інструмент - це чудовий спосіб оцінити продуктивність моделі. Найпростіше оцінити - це дисперсія. Більше до вашого початкового пункту, завантажувач може оцінити ймовірне майбутнє виконання заданої процедури моделювання за новими ще не реалізованими даними.

Якщо ви використовуєте переустановку (завантажувальну або перехресну перевірку) для вибору параметрів настройки моделі та для оцінки моделі, вам знадобиться подвійна завантажувальна або вкладена перехресна перевірка.

Як правило, завантажувальний пристрій вимагає меншої кількості моделей (часто близько 300), ніж перехресна перевірка (10-кратну перехресну перевірку потрібно повторити 50-100 разів для стабільності).

Деякі симуляційні дослідження можна знайти на веб-сайті http://biostat.mc.vanderbilt.edu/rms

— Френк Харрелл
джерело

Нічого собі, я не знав, що 10-кратний резюме потрібно повторити 50-100 разів! Мені доведеться переглянути свій останній проект і спробувати перевірити завантаження. Любіть цей веб-сайт: я щодня дізнаюся щось!

— Уейн

Дякую @Frank! Скажіть, у мене є набір моделей-кандидатів з однаковим числом параметрів, чи ті, у кого менша різниця в оцінках завантажувальної системи, кращі кандидати (якщо вважати, що загальна втрата чи ризик були однаковими для всіх) для боротьби з надмірним пристосуванням?

— Амеліо Васкес-Рейна

Я не вважав би цього, але це можливо.

— Френк Харрелл

Чудова відповідь, дякую! Я не знав, що завантажувальний пристрій також може використовуватися для перевірки моделі І перехресну перевірку потрібно повторювати багато разів. Я бачу ще одну перевагу цього методу: перехресне підтвердження вимагає, щоб кількість складок була визначена (суб'єктивно) заздалегідь, як правило, 10, що є більш-менш евристичним, а не оптимальним. Але хоча це чудовий метод, чому він здається не таким популярним, як перехресне підтвердження?

— SiXUlm

Перевірка моделі Bootstrap досить популярна, але перехресне підтвердження тривало довше. Але, як ви вже сказали, є вибір довільності у виборі # складок у cv.

— Френк Харрелл

Розгляньте можливість використання завантажувального пристрою для усереднення моделі .

Нижче наведена стаття може допомогти, оскільки вона порівнює підхід усереднення моделі завантажувального моделю до (чим частіше використовується?) Байєсівське моделювання усереднення та викладає рецепт виконання усереднення моделі.

Модель завантажувального апарату, усередненість у дослідженнях часових рядів забруднення повітря та твердих часток

— Джош Геман
джерело

Я б не рекомендував завантажувач для усереднення моделей у більшості випадків. Завантажувальний інструмент найкраще розповідати про те, як працює одна процедура моделювання, а не розповідати, як створити нову процедуру. Однак є й винятки.

— Френк Харрелл

@Frank Harrell - Погодився. Документ, на який я посилався, стосується області, над якою я працюю іноді, і я використовував завантажувальний сценарій для вказаного вами сценарію: оцінка змінності конкретної моделі через помилку вибірки. Але невизначеність, зумовлену самим вибором моделі , ще важче оцінити, і підхід усереднення моделей завантажувальної програми може бути корисним як допоміжний засіб, особливо для практиків, як я, яким не вистачає досвіду / передумови для переформулювання проблем узагальнення байесівської моделі.

— Джош Геман

Ні, я б сказав, що завантажувальний апарат є чудовим для того, щоб дати оцінку збитків, завданих невідомим моделі заздалегідь. Це не означає, що вам слід обов'язково використовувати завантажувальний інструмент для вдосконалення речей, таких як усереднення за набором невизначених моделей. Якщо ви використовуєте завантажувальний засіб таким чином, вам знадобиться подвійний завантажувальний інструмент, щоб отримати чесну оцінку продуктивності усередненої моделі. Слід зазначити, що випадкові ліси - це форма моделювання усереднення за допомогою завантажувального пристрою.

— Френк Харрелл

Хороший момент про подвійний завантажувач. Автори статті, на яку я посилався, мають наступний документ про це: Усереднення моделі Bootstrap після завантаження для зменшення невизначеності моделі при виборі моделі для досліджень смертності від забруднення повітря

— Джош Хеманн

Добре. Тільки пам’ятайте, що часто надмір. Найчастіше найкраще створювати повну модель, орієнтовану на предмет, та використовувати усадку (пеналізацію), якщо вона перевитрата; але це все одно одна модель.

— Френк Харрелл