Як вибрати розміри навчальних, перехресних перевірок та тестових наборів для малих даних про розмір вибірки?

Припустимо, у мене невеликий розмір вибірки, наприклад N = 100, і два класи. Як я повинен вибрати розміри навчальних, перехресних перевірок та тестових наборів для машинного навчання?

Я б інтуїтивно вибирав

• Розмір тренувального набору - 50
• Перехресне встановлення набору розміром 25 та
• Розмір тесту - 25.

Але, мабуть, це має більш-менш сенс. Як мені реально вирішити ці цінності? Чи можу я спробувати різні варіанти (хоча, мабуть, це не так бажано ... збільшена можливість перенавчання)?

Що робити, якщо я мав більше двох класів?

• Ви напевно знайшли дуже схоже питання: Вибір K у K-кратній перехресній валідації ?
  (У тому числі посилання на роботу Рона Кохаві)

• Якщо розмір вибірки вже невеликий, рекомендую уникати будь-якої оптимізації, керованої даними. Натомість обмежте себе моделями, де ви можете виправити гіперпараметри на основі знань щодо моделі та застосування / даних. Це робить один з рівнів перевірки / тестування непотрібним, залишаючи більшість ваших кількох випадків для навчання сурогатних моделей у решті перехресних перевірок.
  IMHO, ви все одно не можете дозволити собі дуже привабливі моделі з таким розміром зразка. І майже напевно ви не можете дозволити собі будь-які змістовні зіставлення моделей (точно, якщо тільки ви не використовуєте правильні правила балів та методи парного аналізу).
  Це рішення є набагато більш важливим , ніж точний вибір (скажімо, 5 раз по порівнянні з 10-кратним) - з важливим винятком того, що відпустка один з це НЕ$k$ рекомендується взагалі.

• Цікаво, що з цими проблемами класифікації за розміром вибірки, перевірка часто є складнішою (з точки зору потреб у вибірці) порівняно з навчанням гідної моделі. Якщо вам потрібна будь-яка література з цього приводу, дивіться, наприклад, нашу статтю про планування розмірів вибірки:
  Белейтс, К. і Нейгебауер, У. і Боклітц, Т. і Крафтт, К. і Попп, Дж.: Планування розмірів зразків для класифікаційних моделей. Anal Chim Acta, 2013, 760, 25-33.
  DOI: 10.1016 / j.aca.2012.11.007
  прийнято рукопис на arXiv: 1211.1323

• Ще один важливий момент - добре використати можливість повторити / повторити перехресну валідацію (що є однією з причин проти LOO): це дозволяє виміряти стабільність прогнозів щодо збурень (тобто декількох різних випадків) тренінгу дані.

  Література:

  • Beleites, C. & Salzer, R .: Оцінка та підвищення стабільності хіміометричних моделей у ситуаціях з невеликим розміром вибірки Anal Bioanal Chem, 2008, 390, 1261-1271.
    DOI: 10.1007 / s00216-007-1818-6
  • Dixon, SJ; Генріх, Н .; Holmboe, M .; Шефер, М. Л.; Рід, РР; Trevejo, J. & Brereton, RG: Застосування методів класифікації, коли розміри груп неоднакові, включаючи попередні ймовірності до трьох загальних підходів: Застосування до моделювання та хемосигналів сечі миші, Chemom Intell Lab Syst, 2009, 99, 111-120.
    DOI: 10.1016 / j.chemolab.2009.07.016

• Якщо ви вирішите провести один цикл на тестовому наборі протриманого часу (без повторень / повторів),

  • майте на увазі, що більшість помилок, які ви можете зробити при перехресній валідації (що призведе до оптимістичної упередженості), може траплятися і з тестовим набором, що витримує.
  • перевірте ширину отриманого довірчого інтервалу для вимірювання продуктивності та переконайтеся, що це дозволяє осмислену інтерпретацію результатів (див. документ з планування розмірів вибірки).

Зважаючи на те, що розмір вибірки невеликий, гарною практикою було б вийти з розділу перехресної перевірки та використовувати співвідношення 60 - 40 або 70 - 30.

Як ви бачите в розділі 2.8 Введення в Клементин та обмін даними, а також у Бібліотеці MSDN - Обмін даними - Навчання та тестування, співвідношення 70 - 30 є загальним. Відповідно до лекцій "Екскурсія" Ендрю Нґ, рекомендується співвідношення 60 - 20 - 20.

Сподіваюся, я був корисним. З повагою.