Чи існує правило про те, як розділити набір даних на набори для навчання та перевірки?

Чи існує чітке правило, як найкраще розділити дані на набори для навчання та перевірки? Чи доцільний рівний 50/50 розкол? Або є чіткі переваги того, що ви маєте більше даних про навчання щодо даних про валідацію (або навпаки)? Або цей вибір в значній мірі залежить від програми?

Я в основному використовую 80% / 20% даних про навчання та перевірку відповідно, але вибрав цей поділ без будь-яких принципових причин. Чи може мені порадити хтось досвідчений у машинному навчанні?

Є два конкуруючих проблеми: якщо менше даних про навчання, ваші оцінки параметрів мають більшу розбіжність. При меншій кількості даних про тестування ваші статистичні показники будуть відрізнятись. Взагалі кажучи, вам слід зайнятися поділом даних таким чином, що жодна дисперсія не є надто великою, що більше стосується абсолютної кількості примірників у кожній категорії, а не відсотка.

Якщо у вас є 100 екземплярів, ви, ймовірно, застрягли з перехресною валідацією, оскільки жоден розкол не дасть вам задовільної дисперсії у ваших оцінках. Якщо у вас є 100 000 екземплярів, це не має значення, вибираєте ви розділення 80:20 або 90:10 (дійсно, ви можете використовувати менше даних про навчання, якщо ваш метод особливо обчислювальний).

Якщо припустити, що у вас є достатня кількість даних для правильних проведених тестових даних (а не перехресної перевірки), наступним є повчальний спосіб отримати обробку відхилень:

1. Розподіліть свої дані на навчання та тестування (80/20 - це справді хороша відправна точка)
2. Розподіліть дані тренувань на навчання та валідацію (знову ж таки, 80/20 - це справедливий поділ).
3. Піддайте вибірки випадковим вибору ваших навчальних даних, навчіть класифікатор цим і запишіть результативність на набір перевірки
4. Спробуйте серію пробіжок із різними обсягами даних тренувань: випадковим чином вибирайте 20%, скажімо, 10 разів, і спостерігайте за результатами перевірки даних, тоді виконайте те ж саме з 40%, 60%, 80%. Ви повинні побачити як більшу ефективність, так і більше даних, але і меншу дисперсію в різних випадкових вибірках
5. Щоб отримати ручку на дисперсію через розмір тестових даних, виконайте ту саму процедуру в зворотному порядку. Тренуйтеся за всіма вашими даними про навчання, а потім випадково вибирайте відсоток ваших даних про валідизацію кілька разів та спостерігайте за результатами. Тепер вам слід встановити, що середня ефективність на малих зразках ваших даних перевірки приблизно така ж, як і ефективність для всіх даних перевірки, але дисперсія набагато вища при меншій кількості тестових зразків

Ви здивуєтеся, дізнавшись, що 80/20 - це досить часто зустрічається співвідношення, яке часто називають принципом Парето . Зазвичай це безпечна ставка, якщо ви використовуєте це співвідношення.

Однак, залежно від методики навчання / валідації, яку ви використовуєте, співвідношення може змінюватися. Наприклад: якщо ви використовуєте 10-кратну перехресну перевірку, ви отримаєте набір валідації 10% у кожну складку.

Було проведено кілька досліджень щодо того, яке правильне співвідношення між навчальним набором та валідаційним набором :

Частка шаблонів, відведених для набору валідації, повинна бути обернено пропорційною квадратному кореню кількості вільних регульованих параметрів.

У своєму висновку вони визначають формулу:

Набір валідації (v) до співвідношення розмірів навчального набору (t), v / t, масштабів, таких як ln (N / h-max), де N - кількість сімей визнаючих, а h-max - найбільша складність цих сімей.

Що вони означають за складністю, це:

Кожна сім'я впізнавальних приладів характеризується своєю складністю, яка може або не може бути пов'язана з розмірністю ВК , довжиною опису, кількістю регульованих параметрів або іншими заходами складності.

Беручи перше правило (тобто набір перевірки має бути обернено пропорційним квадратному кореню кількості вільних регульованих параметрів), можна зробити висновок, що якщо у вас є 32 регульовані параметри, квадратний корінь 32 дорівнює ~ 5,65, дріб повинен бути 1 / 5,65 або 0,177 (об / т). Приблизно 17,7% мають бути зарезервовані для валідації та 82,3% для навчання.

Минулого року я взяв курс онлайн-машинного навчання Ендрю Нґ. Його рекомендація:

Навчання : 60%

Перехресне підтвердження : 20%

Тестування : 20%

Ну, варто подумати про ще одне.

Якщо у вас дійсно великий набір даних, наприклад, 1 000 000 прикладів, розділення 80/10/10 може бути непотрібним, оскільки 10% = 100 000 прикладів не потрібно, щоб сказати, що модель працює нормально.

Можливо, 99 / 0,5 / 0,5 достатньо, тому що 5000 прикладів можуть представляти більшість дисперсій у даних, і ви можете легко сказати, що модель працює добре на основі цих 5000 прикладів у тесті та розробниках.

Припустимо, у вас менше даних, я пропоную спробувати 70%, 80% і 90% і перевірити, що дає кращий результат. У випадку 90% є ймовірність, що за 10% тесту ви отримаєте низьку точність.

Можливо, 63,2% / 36,8% є розумним вибором. Причиною було б те, що якщо ви мали загальний розмір вибірки n і хотіли випадково вибірки із заміною (він же повторний вибірки, як у статистичній завантажувальній) n випадків із початкового n , ймовірність того, що окремий випадок буде обраний у повторний зразок склав би приблизно 0,632 за умови, що n не надто малий, як пояснено тут: https://stats.stackexchange.com/a/88993/16263

Для вибірки n = 250 ймовірність вибору окремого випадку для повторного вибірки до 4 цифр становить 0,6329. Для вибірки n = 20000 ймовірність дорівнює 0,6321.

Все залежить від наявних даних. Якщо у вас є значна кількість даних, то 80/20 - хороший вибір, як згадувалося вище. Але якщо ви не зробили перехресну валідацію з розділенням 50/50, це може допомогти вам набагато більше і завадить створити модель, що перевищує ваші дані про навчання.