Вибір K у K-кратній перехресній валідації

Я використовую в кратної перехресної перевірки кілька разів зараз , щоб оцінити продуктивність деяких алгоритмів навчання, але я завжди був спантеличений про те , як я повинен вибрати значення .$K$$K$

Я часто бачив і використовував значення , але це здається мені абсолютно довільним, і тепер я просто використовую за звичкою, а не продумувати. Мені здається, ви отримуєте кращу деталізацію в міру поліпшення значення , тому в ідеалі ви повинні зробити свій дуже великим, але також є ризик бути упередженим.10 К $K = 10$$10$$K$$K$

Мені хотілося б знати, від чого має залежати значення , і як я повинен думати про це, коли я оцінюю свій алгоритм. Чи щось змінюється, якщо я використовую стратифіковану версію перехресної перевірки чи ні?$K$

Вибір дещо довільний. Ось як я вирішу :$k = 10$$k$

• Перш за все, щоб зменшити дисперсію результату резюме, ви можете і потрібно повторити / повторити резюме з новими випадковими розколами.
  Це робить аргумент високого => більшого часу на обчислення в значній мірі нерелевантним, оскільки ви все одно хочете обчислити багато моделей. Я, як правило, думаю про загальну кількість розрахованих моделей (аналогічно завантажувальній). Тож я можу вирішити 100-кратне резюме або 200 x 5-кратне резюме.$k$

• @ogrisel вже пояснив, що зазвичай великий означає менший (песимістичний) ухил. (Деякі винятки відомі, зокрема, для , тобто вихід-один-вихід).k = $k$$k = n$

• Якщо можливо, я використовую який є дільником розміру вибірки, або розміром груп у вибірці, які слід стратифікувати.$k$

• Занадто великий означає, що можлива лише невелика кількість комбінацій вибірки, що обмежує кількість ітерацій, які відрізняються.$k$

  • Для виходу-виходу: можливі різні комбінації моделей / тестових зразків. Ітерації взагалі не мають сенсу.$\binom{n}{1} = n = k$
  • Наприклад, і : існують різні комбінації моделей / тестових зразків. Ви можете розглянути тут всі можливі комбінації, оскільки 19 ітерацій кратного резюме або загалом 190 моделей не дуже багато.$n = 20$$k = 10$$\binom{n=20}{2} = 190 = 19 ⋅ k$$k$

• Ці думки мають більшу вагу при малих розмірах вибірки. Якщо більше доступних зразків, не має великого значення. Можлива кількість комбінацій незабаром стає достатньо великою, тому (скажімо, 100 повторень 10-кратного резюме не ризикує бути дублікатами). Крім того, більше навчальних зразків зазвичай означає, що ви перебуваєте на більш рівній частині кривої навчання, тому різниця між сурогатними моделями та "реальною" моделлю, що навчається на всіх зразках, стає незначною.$k$$n$

Більший К означає менше упередженості щодо завищення справжньої очікуваної помилки (оскільки складки тренувань будуть ближче до загального набору даних), але більша дисперсія та більший час виконання (оскільки ви наближаєтесь до граничного випадку: залишити-один-вихід CV).

Якщо нахил кривої навчання досить рівний при Training_size = 90% від загального набору даних, то упередження можна ігнорувати, і K = 10 є розумним.

Крім того, вищий K дає більше зразків для оцінки більш точного довірчого інтервалу за вашою оцінкою (використовуючи параметричну стандартну помилку, припускаючи нормальність розподілу помилок тесту CV, або непараметричну CI завантажувача, що просто робить припущення про iid, яке насправді не дуже правдиве оскільки складки CV не залежать одна від одної).

Правка: недооцінка => завищення справжньої очікуваної помилки

Редагувати: частина цієї відповіді про більш високі відхилення для великих K або LOOCV, ймовірно, помилкова (не завжди відповідає дійсності). Більш детально з моделюванням у цій відповіді: Зміщення та дисперсія в перехресній валідації «відхід-один-проти» до K-кратного (спасибі Xavier Bourret Sicotte за цю роботу).

Я не знаю, як Kвпливає на точність та узагальнення, і це може залежати від алгоритму навчання, але це, безумовно, впливає на складність обчислень майже лінійно (асимптотично, лінійно) на алгоритми навчання з алгоритмічною складністю лінійної за кількістю навчальних екземплярів. Час обчислення для тренінгу збільшується в K-1рази, якщо час тренувань лінійний за кількістю навчальних екземплярів. Тому для невеликих навчальних наборів я б врахував аспекти точності та узагальнення, особливо враховуючи, що нам потрібно отримати максимальну користь із обмеженого числа навчальних прикладів.

Однак для великих навчальних наборів та алгоритмів навчання з високим зростанням асимптотичної комутаційної складності у кількості навчальних екземплярів (принаймні лінійних) я просто підбираю K=2так, щоб не було збільшення обчислювального часу для алгоритму навчання з лінійною асимптотичною складністю лінійної кількості навчальних випадків.

Рішення:

K = N/N*0.30

• N = Розмір набору даних
• К = скласти

Коментар: Ми також можемо вибрати 20% замість 30%, залежно від розміру, який ви хочете вибрати як тестовий набір.

Приклад:

Якщо розмір набору даних: N = 1500; К = 1500/1500 * 0,30 = 3,33; Ми можемо вибрати значення K як 3 або 4

Примітка:

Велике значення K у перехресній валідації, що виводиться, призведе до надмірного встановлення. Невелике значення K у перехресній валідації виходу з одного виду призведе до недостатнього підходу.

Підхід може бути наївним, але все-таки краще, ніж вибрати k = 10 для набору даних різного розміру.