Критичне відмінність , чи хочете ви:
- [Найпоширеніший випадок]: Побудуйте оцінку ефективності за новими темами (виходячи з тієї ж сукупності, що і ваші дані).
- Побудуйте оцінку ефективності за новими спостереженнями з тих же предметів, що і у вашій вибірці.
Набагато частішим випадком є номер справи (1). Наприклад, як добре ви прогнозуєте інфаркти для того, хто потрапляє до відділення швидкої допомоги? І якщо ви маєте випадок (1), ви майже напевно повинні робити (a) предметну перехресну перевірку, а не (b) перехресну валідацію записів. Виконання рекордної перевірки у випадку (1), ймовірно, призведе до необґрунтовано високих, хибних оцінок ефективності нових предметів.
Я точно не розумію, що ви намагаєтеся зробити (і, можливо, це самостійне вивчення, тому питання не зовсім реалістичне). Я не знаю, в якому випадку ви перебуваєте. Якщо ви знаходитесь у набагато рідшій справі (2), записування мудрої перевірки може бути нормальним.
Загальна тема статистики - це ретельно подумати про те, що є незалежним і що має відношення. Взагалі незалежне спостереження, як правило, є іншим предметом. Якщо ви хочете передбачити ефективність роботи з нових предметів, ви повинні перевірити тематику, на якій ви не тренувались!
Чому предметна перехресна перевірка, а не рекордна?
У типових умовах неодноразові спостереження одного і того ж індивіда співвідносяться між собою навіть після кондиціонування за ознаками. Отже, завдяки перехресній валідації, що склалася з рекордом, ваш тестовий набір не залежить від вашого навчального набору! У крайньому випадку ідеальної кореляції ви б мали точно такі ж спостереження у навчальному наборі та тестовому наборі! Ви б тренувалися на тестовому наборі! Результативність, виміряна в перехресній валідації, не буде передбачувальною для нових предметів.
Наприклад, цей останній документ називає рекордно крос-валідацію, `` Вуду машинного навчання ".
Що робити з такою кількістю предметів, хоча ...
Можливо, деякі коментатори, більш досвідчені з перехресною валідацією, ніж я, могли би приєднатися, але для мене це схоже на можливого кандидата на (він же залишає одну перехресну перевірку)?k=n
Щоб максимізувати дані для тренінгу, ви можете зробити те, щоб залишити один предмет для перехресної перевірки. Кожну ітерацію, тестуйте на іншу тему витримки та тренуйтеся на всіх інших.
Якщо випробування всі дуже різні, можливо, ви матимете значення і, можливо, захочете поставити якомога більше незалежних предметів у навчальний набір.n=38