За умови розміру вибірки "N", яку я планую використовувати для прогнозування даних. Які існують способи поділу даних, щоб я використовував деякі для встановлення моделі, а решту даних для перевірки моделі?
Я знаю, що на це немає чорно-білої відповіді, але було б цікаво знати деякі "великі правила" або зазвичай використовувані співвідношення. Я знаю, що ще в університеті один з наших професорів говорив про модель на 60% і перевіряв на 40%.
Відповіді:
Ну, як ви сказали, немає чорно-білої відповіді. Я, як правило, не поділяю дані на 2 частини, але замість цього використовую такі методи, як перехресне підтвердження k-кратного.
У k-кратному перехресному перевірці ви поділяєте свої дані випадковим чином на k частини та встановлюєте свою модель на k-1 частини та перевіряєте помилки на лівій частині. Ви повторюєте процес k разів, залишаючи кожну частину не підходящою одна за одною. Можна взяти середню помилку з кожної з ітерацій як вказівку на помилку моделі. Це дуже добре працює, якщо ви хочете порівняти прогнозовану силу різних моделей.
Однією крайньою формою k-кратної перехресної перевірки є узагальнена перехресна перевірка, де ви просто залишаєте одну точку даних для тестування та пристосовуєте модель до всіх решти точок. Потім повторіть процес n разів, залишаючи кожну точку даних по черзі. Як правило, я віддаю перевагу k-кратній перехресній валідації над узагальненою перехресною валідацією ... просто особистий вибір
Це дійсно залежить від кількості ваших даних, конкретної вартості методів та того, як саме ви хочете, щоб був ваш результат.
Деякі приклади:
Якщо у вас мало даних, ви, мабуть, хочете скористатися перехресною валідацією (k-fold, left-one-out тощо). Ваша модель, ймовірно, не займе багато ресурсів для підготовки та тестування. Це хороші способи отримати максимум своїх даних
У вас дуже багато даних: ви, ймовірно, хочете взяти досить великий тестовий набір, гарантуючи, що буде мало можливостей, що якісь дивні зразки дадуть великі відмінності вашим результатам. Скільки даних слід взяти? Це повністю залежить від ваших даних та моделі. Наприклад, для розпізнавання мовлення, якщо ви забираєте занадто багато даних (скажімо, 3000 речень), ваші експерименти потребуватимуть днів, оскільки фактор у реальному часі становить 7-10. Якщо ви візьмете занадто мало, це занадто сильно залежить від вибраних динаміків (які у навчальному наборі заборонено).
Пам'ятайте також, що у багатьох випадках добре мати також і перевірку / розробку!
1:10 тест: коефіцієнт поїздів популярний тому, що він виглядає круглим, 1: 9 популярний через 10-кратне резюме, 1: 2 є популярним, оскільки воно також кругле і знову збирає завантажувальний пристрій. Іноді людина отримує тест за деякими критеріями, характерними для даних, наприклад, минулого року для тестування, за рік до навчання.
Загальне правило таке: потяг повинен бути досить великим, щоб точність не знизилася значно, а тест повинен бути досить великим, щоб заглушити випадкові коливання.
Я все ж віддаю перевагу резюме, оскільки воно також дає вам розподіл помилок.
Як розширення на k-кратну відповідь, "звичайний" вибір k дорівнює або 5, або 10. Метод "відхід один" має тенденцію створювати занадто консервативні моделі. FYI, ось посилання на цей факт:
Шао, Дж. (1993), Вибір лінійної моделі шляхом перехресної валідації, Журнал Американської статистичної асоціації, Vol. 88, № 422, стор 486-494