Перехресне підтвердження K-кратно проти Монте-Карло

Я намагаюся вивчити різні методи перехресної перевірки, насамперед з наміром застосувати до контрольованих методів багатофакторного аналізу. Два, з якими я стикався, - це методи перехресної перевірки в K-кратному і Монте-Карло. Я читав, що K-кратність - це зміна Монте-Карло, але я не впевнений, що повністю розумію, що складає визначення Монте-Карло. Чи може хтось пояснити, будь ласка, відмінність цих двох методів?

$k$ -складна перехресна перевірка

Припустимо, у вас є 100 точок даних. Для $k$ кратної перехресної валідації ці 100 балів поділяються на $k$ рівних за розміром та взаємовиключні 'складки'. Для $k$ = 10, ви можете призначити точки 1-10 для складання №1, 11-20 для складання №2 і так далі, закінчуючи, присвоївши точки 91-100, щоб скласти №10. Далі ми вибираємо одну складку, яка виступатиме в якості тестового набору, а решту $k-1$ складок використовуємо для формування навчальних даних. Для першого запуску ви можете використовувати точки 1-10 як тестовий набір і 11-100 як навчальний набір. Наступний пробіг тоді використовує точки 11-20 в якості тестового набору і тренується на балах 1-10 плюс 21-100 тощо, поки кожна складка не буде використана один раз як тестовий набір.

Перевірка хрестовини Монте-Карло

Монте-Карло працює дещо інакше. Ви випадково вибираєте (без заміни) деяку частину своїх даних для формування навчального набору, а потім присвоюєте решту балів тестовому набору. Потім цей процес повторюється багато разів, щоразу створюючи (навмання) нові навчальні та тестові розділи. Наприклад, припустимо, ви вибрали використовувати 10% своїх даних в якості тестових даних. Тоді у вашому тестовому наборі для представника №1 можуть бути пункти 64, 90 , 63, 42 , 65, 49, 10, 64, 96 та 48. На наступний запуск ваш тестовий набір може становити 90 , 60, 23, 67, 16, 78, 42 , 17, 73 та 26. Оскільки розділи виконуються незалежно для кожного запуску, одна і та сама точка може з’являтися в тестовому наборі кілька разів,що є основною різницею між Монте-Карло та перехресною валідацією .

Порівняння

У кожного методу є свої переваги та недоліки. Під час перехресної перевірки кожна точка перевіряється рівно один раз, що здається справедливим. Однак перехресне підтвердження вивчає лише декілька можливих способів розподілу ваших даних. Монте-Карло дозволяє вивчити дещо більш можливі розділи, хоча ви навряд чи отримаєте їх усі - є можливі способи 50/50 розділити 100 точок даних встановити (!).$\binom{100}{50} \approx 10^{28}$

Якщо ви намагаєтесь зробити висновок (тобто статистично порівняти два алгоритми), усереднення результатів виконання перебігу кратної перехресної перевірки отримує (майже) неупереджену оцінку продуктивності алгоритму, але з великою дисперсією (як ви розраховуйте мати лише 5 чи 10 точок даних). Оскільки ви, в принципі, можете виконувати його так довго, як хочете / можете собі дозволити, перехресне підтвердження Монте-Карло може дати вам меншу змінну, але більш упереджену оцінку.$k$

Деякі підходи сплавляють ці два, як у перехресній валідації 5х2 (див. Діетріх (1998) для цієї ідеї, хоча, думаю, з тих пір були якісь вдосконалення), або шляхом виправлення упередженості (наприклад, Nadeau та Bengio, 2003 ) .

Припустимо, - розмір набору даних, - кількість кратних підмножин, - розмір навчального набору, а - розмір набору перевірки. Тому для кратна перехресна перевірка та для перехресної перевірки Монте-Карло.$N$$k$$k$$n_t$$n_v$$N = k \times n_v$$k$$N = n_t + n_v$

$k$ -кратна перехресна перевірка (kFCV) ділить точок даних на взаємовиключних підмножинах однакового розміру. Потім процес залишає одну з підмножини як набір перевірки та тренує інші підмножини. Цей процес повторюється разів, щоразу виключаючи одну з підмножини. Розмір може варіюватися від до ( називається перехресною валідацією "вихід-один-вихід"). Автори в [2] пропонують встановити або .$N$$k$$k$$k$$k$$k$$N$$2$$k = N$$k = 5$$10$

Перехресна перевірка Монте-Карло (MCCV) просто розбиває точок даних на два підмножини та шляхом вибірки, без заміни, точок даних. Потім модель тренується на підмножині та затверджується на підмножині . Існують унікальні навчальні набори, але MCCV уникає необхідності запускати ці багато ітерацій. Чжан [3] показує, що запуск MCCV для ітерацій має результати, близькі до перехресної перевірки для всіх унікальних навчальних наборів. Слід зазначити, що в літературі бракує досліджень для великої Н. $N$$n_t$$n_v$$n_t$$n_t$$n_v$${N\choose n_t}$$N^2$${N\choose n_t}$

Вибір і впливає на зміщення / відхилення від торгів. Чим більший або , тим менший ухил і вища дисперсія. Більший набір тренувань більше схожий між ітераціями, отже, над пристосуванням до даних тренувань. Докладніше про це обговорення див. У розділі [2]. Зміщення та дисперсія kFCV та MCCV різні, але зміщення двох методів можна зробити рівними, вибираючи відповідні рівні та . Значення зміщення та дисперсії для обох методів показані в [1] (у цій роботі йдеться про MCCV як модель тестування з повторним навчанням).$k$$n_t$$k$$n_t$$k$$n_t$

[1] Бурман, П. (1989). Порівняльне дослідження звичайної перехресної валідації, кратної перехресної валідації та методів повторного вивчення тестування-моделей. Бометріка 76 503-514.$v$

[2] Хасті, Т., Тібшірані, Р. і Фрідман, Дж. (2011). Елементи статистичного навчання: обробка даних, умовиводи та прогнозування. Друге видання. Нью-Йорк: Спрінгер.

[3] Чжан, П. (1993). Вибір моделі за допомогою перехресної валідації багаторівневого випробовування. Енн. Стат. 21 299–313

Інші дві відповіді чудові, я просто додам дві картинки, а також один синонім.

Перехресна перевірка K-кратна (kFCV):

Перехресна перевірка в Монте-Карло (MCCV) = Повторна перевірка випадкової під вибірки (RRSSV):

Список літератури:

Зображення походять з (1) ( стор. 64 та 65 ), а синонім згадується в (1) та (2).

• (1) Ремесан, Ренджі та Джімсон Метью. Гідрологічне моделювання даних: підхід до вивчення конкретного випадку . Вип. 1. Спрингер, 2014.

• (2) Дубіцький, Вернер, Мартін Гранзоу та Даніель П. Беррар, ред. Основи обміну даними в геноміці та протеоміці . Springer Science & Business Media, 2007.