Яка різниця між тестовим набором і набором валідації?

Я вважав це заплутаним, коли використовую панель інструментів нейронної мережі в Matlab.
Він розділив набір необроблених даних на три частини:

1. навчальний набір
2. набір перевірки
3. тестовий набір

Я помічаю в багатьох алгоритмах навчання або навчання, дані часто діляться на 2 частини, навчальний набір і тестовий набір.

Мої запитання:

1. Яка різниця між набором валідації та тестовим набором?
2. Чи дійсно набір перевірки специфічний для нейронної мережі? Або це необов’язково.
3. Щоб піти далі, чи існує різниця між валідацією та тестуванням у контексті машинного навчання?

Зазвичай для здійснення контрольованого навчання потрібні два типи наборів даних:

1. В одному наборі даних (ваш "золотий стандарт") ви маєте вхідні дані разом з правильним / очікуваним результатом. Цей набір даних зазвичай належним чином підготовлений або людьми, або шляхом збору деяких даних напівавтоматизованим способом. Але важливо, щоб у вас був очікуваний вихід для кожного ряду даних тут, тому що це потрібно для контролю під контролем.

2. Дані, до яких ви будете застосовувати вашу модель. У багатьох випадках це дані, за якими ви зацікавлені у виході вашої моделі, і, отже, у вас поки немає жодного "очікуваного" виводу.

Виконуючи машинне навчання, ви робите наступне:

1. Навчальний етап: ви представляєте свої дані зі свого «золотого стандарту» і тренуєте свою модель, поєднуючи вхід із очікуваним результатом.
2. Фаза валідації / тестування: для того, щоб оцінити, наскільки підготовлена ​​ваша модель (що залежить від розміру ваших даних, значення, яке ви хотіли б передбачити, ввести тощо) та оцінити властивості моделі (середня помилка для числових прогнокторів, помилки класифікації класифікаторів, відкликання та точність ІР-моделей тощо)
3. Етап подання заявки: тепер ви застосовуєте свіжо розроблену модель до реальних даних і отримуєте результати. Оскільки у вас зазвичай немає жодного еталонного значення для даного типу даних (інакше навіщо вам потрібна ваша модель?), Ви можете лише міркувати про якість виводу вашої моделі, використовуючи результати вашої фази перевірки.

Фаза перевірки часто розділяється на дві частини :

1. У першій частині ви просто переглядаєте ваші моделі та вибираєте найбільш підходящий підхід, використовуючи дані перевірки (= валідація)
2. Потім ви оцінюєте точність обраного підходу (= тест).

Звідси поділ до 50/25/25.

У випадку, якщо вам не потрібно вибрати відповідну модель з декількох конкуруючих підходів, ви можете просто перерозподілити свій набір, який у вас, як правило, має лише навчальний набір і тестовий набір, не виконуючи перевірку вашої навченої моделі. Я їх особисто розділяв тоді 70/30.

Дивіться також це питання .

Навчальний набір: набір прикладів, які використовуються для навчання: для відповідності параметрам класифікатора У випадку багатошарового перцептрону (MLP) ми використовуємо навчальний набір для пошуку «оптимальних» ваг з правилом зворотного опору.

Набір валідації: набір прикладів, які використовуються для настройки параметрів класифікатора У випадку MLP ми використовуємо набір перевірки для пошуку «оптимальної» кількості прихованих одиниць або для визначення точки зупинки для алгоритму зворотного поширення

Тестовий набір: набір прикладів, які використовуються лише для оцінки працездатності повністю підготовленого класифікатора У випадку MLP ми використовували б тест для оцінки рівня помилок після того, як ми обрали остаточну модель (розмір MLP та фактичні ваги) Після оцінки остаточну модель на тестовому наборі, ВАМ НЕ МОЖЕ ДАЄМО далі налаштовувати модель!

Чому окремі набори тестів та валідації? Оцінка рівня помилок кінцевої моделі на даних валідації буде упередженою (меншою, ніж справжня швидкість помилок), оскільки набір перевірки використовується для вибору кінцевої моделі. Після оцінки кінцевої моделі на тестовому наборі, ВАМ НЕ МОЖЕ НЕ налаштовувати модель далі!

Джерело: Вступ до аналізу шаблонів, Університет Рікардо Гутьеррес-ОсунаТексас A&M, Техаський університет A&M

Мій 5-річний досвід роботи з інформатики навчив мене, що нічого кращого, ніж простота.

Концепція наборів даних "Навчання / перехресне підтвердження / тест" така ж проста. Якщо у вас є великий набір даних, рекомендується розділити його на 3 частини:

++ Набір тренувань (60% від початкового набору даних): використовується для створення нашого алгоритму прогнозування. Наш алгоритм намагається налаштувати себе на вигадки набору навчальних даних. У цій фазі ми зазвичай створюємо декілька алгоритмів, щоб порівняти їх продуктивність під час фази перехресної валідації.

Набір перехресної валідації ++ (20% від початкового набору даних): Цей набір даних використовується для порівняння продуктивності алгоритмів прогнозування, створених на основі навчального набору. Ми вибираємо алгоритм, який має найкращі показники.

++ Тестовий набір (20% від початкового набору даних): зараз ми вибрали наш бажаний алгоритм прогнозування, але ми ще не знаємо, як це буде виконувати на абсолютно небачених реальних даних. Отже, ми застосовуємо вибраний алгоритм передбачення на нашому тестовому наборі, щоб побачити, як це буде виконувати, щоб ми могли мати уявлення про ефективність нашого алгоритму на небачених даних.

Примітки:

- Дуже важливо пам’ятати, що пропускати тестову фазу не рекомендується, тому що алгоритм, який працював добре на етапі перехресної перевірки, насправді не означає, що він справді найкращий, оскільки алгоритми порівнюються на основі кросу -набір валідації та його примхи та шуми ...

-Під час тестової фази мета полягає в тому, щоб побачити, як наша фінальна модель буде працювати в дикій природі, тому у випадку, якщо її продуктивність буде дуже поганою, ми повинні повторити весь процес, починаючи з фази навчання.

На кожному кроці, який вам пропонують прийняти рішення (тобто вибрати один варіант з декількох варіантів), ви повинні мати додатковий набір / розділ, щоб оцінити точність на ваш вибір, щоб ви не просто вибрали найсприятливіший результат випадковості та помиляються в кінці розподілу для центру ¹ . Зліва - песиміст. Право - оптиміст. Центр - прагматик. Будьте прагматиком.

Крок 1) Навчання: у кожного типу алгоритму є свої параметри параметрів (кількість шарів у нейронній мережі, кількість дерев у випадковому лісі тощо). Для кожного свого алгоритму потрібно вибрати один варіант. Ось чому у вас є навчальний набір.

Крок 2) Перевірка: тепер у вас є колекція алгоритмів. Ви повинні вибрати один алгоритм. Ось чому у вас є тестовий набір. Більшість людей вибирають алгоритм, який найкраще працює у наборі перевірки (і це нормально). Але якщо ви не вимірюєте показник помилок вашого найефективнішого алгоритму на тестовому наборі, а просто переходите з його коефіцієнтом помилок на набір перевірки, то ви сліпо помилилися з "найкращим можливим сценарієм" для "найбільш ймовірного сценарію". Ось рецепт катастрофи.

Крок 3) Тестування: я припускаю, що якщо у ваших алгоритмів не було б жодних параметрів, вам не знадобиться третій крок. У цьому випадку ваш крок перевірки буде вашим тестовим кроком. Можливо, Matlab не запитує у вас параметрів або ви вирішили не використовувати їх, і це джерело вашої плутанини.

¹ Часто корисно переходити до кожного кроку з припущенням (нульова гіпотеза), що всі параметри однакові (наприклад, всі параметри однакові або всі алгоритми однакові), отже, моє посилання на розподіл.

² Це зображення не моє власне. Я взяв це з цього веб-сайту: http://www.teamten.com/lawrence/writings/bell-curve.png

З цього не випливає, що вам потрібно поділити дані будь-яким способом. Завантажувальний пристрій може забезпечити менші середні оцінки помилок у квадраті точності прогнозування, використовуючи весь зразок для розробки та тестування моделі.

Типове завдання машинного навчання можна візуалізувати у вигляді наступного вкладеного циклу:

while (error in validation set > X) {
    tune hyper-parameters
    while (error in training set > Y) {
        tune parameters
    }
}

Зазвичай зовнішній цикл виконується людиною на наборі перевірки , а внутрішній цикл - машиною , на навчальному наборі . Тоді вам потрібен 3-й тестовий набір для оцінки кінцевих характеристик моделі.

Іншими словами, валідаційний набір - це навчальний набір для людини.

Один із способів думати про ці три множини - це те, що два з них ( trainingі validation) походять із минулого, тоді як testнабір походить із "майбутнього". Модель має бути побудована та налаштована, використовуючи дані "минулого" ( training/ validationдані), але ніколи не testдані, які походять від "майбутнього".

Щоб навести практичний приклад, скажімо, що ми будуємо модель для прогнозування того, наскільки добре працюватимуть бейсболісти в майбутньому. Ми будемо використовувати дані 1899-2014 для створення testта validationвстановлення. Після того, як модель буде побудована та налаштована на цих даних, ми будемо використовувати дані 2015 року (фактично в минулому!) Як тестовий набір, який з точки зору моделі виглядає як "майбутні" дані і жодним чином не впливав на створення моделі . (Очевидно, що теоретично ми могли б чекати даних 2016 року, якщо дійсно хочемо!)

Очевидно, я використовую цитати скрізь, тому що фактичний тимчасовий порядок даних може не збігатися з реальним майбутнім (за визначенням, все генерування даних, мабуть, відбулося в фактичному минулому). Насправді testнабір може бути просто даними з того самого періоду часу, що і training/ validationнабори, які ви «тримаєте». Таким чином, це не мало впливу на настройку моделі, але ті, що тримають дані, насправді не надходять з майбутнього.

Більшість керованих алгоритмів вилучення даних виконують наступні три кроки:

1. Набір для навчання використовується для побудови моделі. Він містить набір даних, які мають попередньо класифіковані цільові та прогнозні змінні.
2. Зазвичай використовується набір даних для витримки або тестовий набір , щоб оцінити, наскільки добре працює модель з даними поза навчальним набором. Тестовий набір містить попередньо класифіковані дані результатів, але вони не використовуються, коли дані тестового набору проводяться через модель до кінця, коли попередньо класифіковані дані порівнюються з результатами моделі. Модель налаштована для мінімізації помилок на тестовому наборі.
3. Інший набір даних про витримку або набір перевірки використовується для оцінки коригуваної моделі на кроці №2, де, знову ж таки, дані набору валідації запускаються на коригувану модель та результати порівняно з невикористаними попередньо класифікованими даними.

У деяких людей виникає розгубленість щодо того, чому ми використовуємо набір перевірки, тому я дам просте, інтуїтивне пояснення того, що станеться, якщо ви не використовуєте набір даних перевірки.

Якщо ви не використовуєте набір перевірки, замість цього вам доведеться вибрати гіперпараметри та вирішити, коли припинити навчання, виходячи з продуктивності моделі на тестовому наборі даних. Якщо ви вирішите, коли припинити навчання, виходячи з продуктивності моделі на тестовому наборі даних, ви можете просто припинити навчання, коли модель здається добре на тестовому наборі даних. Потім, коли ви повідомляєте про свої результати, ви повідомляєте про точність даних тестування. Проблема в цьому полягає в тому, що ви можете сказати, що ваша модель справді добре, коли насправді це було лише випадковим варіантом, який змусив її зробити краще лише на тестовому наборі.

Якщо ви використовуєте набір перевірки замість того, щоб вирішити, коли припинити навчання, точність моделі на тестовому наборі є скоріше неупередженим відображенням того, наскільки добре вона виконує завдання в цілому, і це показує, що ви не оптимізували модель просто для того, щоб добре виконати тестовий набір.

Я хотів би додати тут інші дуже хороші відповіді, вказуючи на відносно новий підхід до машинного навчання під назвою "диференціальна конфіденційність" (див. Статті Dwork; Блог Win Vector для отримання додаткової інформації). Ідея дозволяє фактично використовувати тестовий набір без шкоди для остаточної продуктивності моделі. У типових умовах тестовий набір використовується лише для оцінки кінцевих показників; в ідеалі не можна навіть дивитися на це.

Як це добре описано в цьому блозі Win Vector (див. Також інші записи), можна використати тестовий набір, не змінюючи продуктивність моделі. Це робиться за допомогою спеціальної процедури під назвою "диференціальна конфіденційність". Учень не матиме прямого доступу до тестового набору.

Моя ідея полягає в тому, що ця опція в панелі інструментів нейронної мережі - це уникнути перевитрати. У цій ситуації ваги визначаються лише для даних тренувань і не показують світової тенденції. Маючи набір валідації, ітерації адаптуються до того, де зменшення помилок у навчальних даних викликає зменшення даних перевірки та збільшення помилки даних перевірки; Поряд зі зменшенням похибки даних у навчанні, це свідчить про явище надмірного пристосування.