10-кратна перехресна валідація проти перехресної валідації

Я роблю вкладену перехресну перевірку. Я прочитав, що перехресне підтвердження виходу з одного виходу може бути упередженим (не пам'ятаю чому).

Чи краще використовувати 10-кратну перехресну валідацію або перехресну валідацію "один-один", окрім більш тривалої тривалості виконання для перехресної перевірки "вихід-один-вихід"?

Просто додати трохи відповіді на @SubravetiSuraj (+1)

Перехресне підтвердження дає песимістично упереджену оцінку результативності, оскільки більшість статистичних моделей покращиться, якщо навчальний набір буде збільшений. Це означає, що перехресна перевірка k-кратна оцінює ефективність моделі, підготовленої на наборі даних 100 * (k-1) / k% наявних даних, а не на 100% її. Отже, якщо ви зробите перехресну перевірку для оцінки продуктивності, а потім використовуєте модель, навчену на всіх даних для оперативного використання, вона буде працювати трохи краще, ніж пропонує оцінка перехресної перевірки.

Перехресна перевірка залишків-один-один приблизно непідвладна , тому що різниця в розмірі між навчальним набором, який використовується в кожній складці, та всім набором даних є лише однією схемою. Про це є праця Лунца та Брайловського (російською мовою).

Лунц, Олександр та Віктор Браїловський. "Про оцінку символів, отриманих в статистичній процедурі розпізнавання." Технічна Кібернетика 3.6 (1969): 6-12.

Дивись також

Оцінка рівня помилок у дискримінаційному аналізі Пітер А. Лахенбрух та М. Рей Міккі Технометрика Vol. 10, вип. 1,1968

Однак, хоча перехресне підтвердження виходу з одного виходу є приблизно неупередженим, воно, як правило, має велику дисперсію (тому ви отримаєте дуже різні оцінки, якби повторили оцінку з різними початковими зразками даних з одного розподілу). Оскільки помилка оцінювача є комбінацією зміщення та дисперсії, то чи перехресна перевірка на один-один вихід краща за 10-кратну перехресну валідацію залежить від обох величин.

Тепер дисперсія у підгонці моделі, як правило, вища, якщо вона встановлена ​​на невеликий набір даних (оскільки вона більш чутлива до будь-яких артефактів шуму / вибірки у конкретному використовуваному навчальному зразку). Це означає, що 10-кратна перехресна перевірка, ймовірно, матиме велику дисперсію (як і більшу зміщення), якщо у вас є лише обмежений обсяг даних, оскільки розмір навчального набору буде меншим, ніж для LOOCV. Таким чином, перехресне підтвердження k-кратного перекладу може також мати проблеми з варіацією, але з іншої причини. Ось чому LOOCV часто краще, коли розмір набору даних невеликий.

Однак, на мою думку, основною причиною використання LOOCV є те, що для деяких моделей він обчислювально недорогий (наприклад, лінійна регресія, більшість методів ядра, класифікатори найближчих сусідів тощо), і якби набір даних був дуже малим, я б використовував 10-кратна перехресна перевірка, якщо вона вписується в мій обчислювальний бюджет, а ще краще - оцінка завантажувального завантаження та розробка мішків.

На мою думку, залишати одну перехресну перевірку краще, коли у вас є невеликий набір навчальних даних. У цьому випадку ви не можете реально зробити 10 разів, щоб передбачити використання решти даних для тренування моделі.

Якщо у вас є великий обсяг даних про тренінг, з іншого боку, краща вакцинація в десятки разів, оскільки буде занадто багато ітерацій для того, щоб залишити одну перехресну перевірку, і враховуючи, що ці результати можуть налаштувати ваші гіперпараметри не бути такою хорошою ідеєю.

Відповідно до ISL, завжди існує компроміс з ухилом відхилення між тим, як робити один виїзд і до кратної перехресної перевірки. У LOOCV (залиште одне резюме) ви отримуєте оцінки помилок тесту з меншим ухилом і більшою дисперсією, оскільки кожен навчальний набір містить n-1 прикладів, це означає, що ви використовуєте майже весь навчальний набір у кожній ітерації. Це призводить і до більш високої дисперсії, оскільки між навчальними наборами є велике перекриття, і, таким чином, оцінки помилок тесту дуже корелюються, що означає, що середнє значення оцінки тестової помилки матиме більшу дисперсію.

Навпаки це стосується k-кратного резюме, оскільки порівняно менше перекриття між навчальними наборами, тому оцінки тестових помилок є менш корельованими, внаслідок чого середнє значення помилки тесту не матиме стільки дисперсії, як LOOCV.