Як ви вирішили, який відсоток вашої поїздки, валідації та випробувань?

10

Розбиваючи свої мічені дані на навчальні, перевірочні та тестові набори, я почув все від 50/25/25 до 85/5/10. Я впевнений, що це залежить від того, як ви збираєтеся використовувати свою модель і наскільки схильний до переналагодження вашого алгоритму навчання. Чи є спосіб вирішити чи це все за правилом? Навіть ELSII здається невиразним на цю тему.

machine-learning cross-validation

— Ед Файн
джерело

Цей питання щодо Stackoverflow має два хороші відповіді на цю тему з> 30 підказками в кожній. stackoverflow.com/questions/13610074 / ...

— Luke Singham

13

$N>20000$

— Френк Харрелл
джерело

А що робити, якщо ви працюєте за великими масштабними даними (але не великими даними) 10000 <N <1000000? У цей момент розщеплення здається розумним. Це відповідає багатьом, але не всім ситуаціям, з якими я стикаюся.

— Ед Файн

Це може бути цілком розумно.

— Френк Харрелл

Я маю N = 95 000 000 (простягнув набір 9 500 000). Де посилання, яке говорить мені, що я не повинен повторювати свій експеримент 10 разів?

— dranxo

2

Просто запустіть двічі (2 розщеплення), і ви будете змінювати результати. Вони, ймовірно, відрізняються настільки мало, що вам потрібен лише один розкол. Подумайте про ширину довірчого інтервалу для пропорції з таким великим розміром вибірки.

— Френк Харрелл

3

Залежно від програми, ви, ймовірно, можете пропустити невизначеність і замість цього скористатися завантажувальним завантаженням.

Wiki: http://en.wikipedia.org/wiki/Bootstrapping_(statistics)

Тут пов'язане питання. Розуміння завантажувальної програми для перевірки та вибору моделі

— Д. Л. Далі
джерело

3

Звичайно, ви також повинні визначитися з коефіцієнтами розщеплення для (подвійного) перекомпонування ...

Однак переустановка зазвичай працює для досить широкого діапазону коефіцієнтів розщеплення, якщо мати на увазі

не робити відпустку, якщо це зменшить кількість можливих чітких прогонів
залиште достатньо випадків тренувань у найглибшому навчальному наборі, щоб алгоритм відстеження мав гідний шанс створити корисну модель.
чим більше незалежних випадків у вас, тим менш важливими є ці міркування.

А що робити, якщо ви працюєте за великими масштабними даними (але не великими даними) 10000 <N <1000000?

Що ви можете зробити, якщо не впевнені в необхідності перекомпонування - це повторити вибір декількох разів. Досить, щоб ви могли виміряти, чи потрібно було переустановку.

перевірити стабільність своїх прогнозів
перевірити стійкість параметрів моделі

За допомогою цих результатів ви можете вирішити, чи слід додавати більше повторних моделей ітерацій чи все добре, як є.

— cbeleites незадоволений SX
джерело

2

Для цього немає жорсткого і швидкого правила. Але емпіричний аналіз показав, що чим більше у вас даних про тренування, тим кращою буде ваша точність. Але що б ви не робили, не забудьте зібрати всі дані про навчання / перевірку / перевірку та зробити 10-кратне резюме, коли ви закінчуєте. Це дає дуже гарне уявлення про те, що під час експерименту виникнуть проблеми із надлишком та недостатністю.

— Рушді Шамс
джерело

1

Я думаю, що все важливо, на які питання ви намагаєтесь відповісти. Вас цікавить точний вигляд різниці в продуктивності між кількома алгоритмами? Тоді вам потрібен досить великий набір перевірки. Вас цікавить, наскільки добре працює алгоритм для N = 10000 зразків? Тоді вам слід покласти щонайменше 10000 проб у комплект поїздів.

Більший набір валідації дає більше статистичної впевненості у ваших результатах, але впевненість полягає у продуктивності алгоритму, який був підготовлений на меншій кількості зразків, що, можливо, не є тим, про що ви хочете, врешті-решт.

— MLS
джерело