Чому б не тренувати кінцеву модель на всіх даних після проведення даних тестування на основі базової настройки гіперпараметрії та даних перевірки вибору моделі?

Під усіма даними я маю на увазі поїзд + тест + перевірка

Після того, як я зафіксував свій гіперпараметр за допомогою даних валідації та обрав модель за допомогою тестових даних, чи не краще буде модель тренуватися за всіма даними, щоб параметри були краще навчені, а не модель була навчена тільки дані поїздів

Питання стоїть під неправильним припущенням. Багато людей роблять те, що ти кажеш, що "не можуть".

Насправді реалізація пошуку в сітці у широко розгорнутому пакеті sklearn робить саме це. Якщо тільки refit=Falseвона не перекваліфікує остаточну модель, використовуючи всі дані.

Я думаю, що для деяких гіперпараметрів це може бути не дуже бажаним, оскільки вони відносно обсягу даних. Наприклад, розглянемо min_samples_leafтактику попередньої обрізки дерева рішень . Якщо у вас є більше даних, попередня обрізка може не виконуватись так, як вам потрібно.

Але знову ж таки, більшість людей насправді перекваліфікуються, використовуючи всі дані після перехресної перевірки, щоб вони виявилися найкращою можливою моделлю.

Додаток: @NeilSlater вказує нижче, що деякі люди проводять перерви на резюме. Іншими словами, вони проходять тест поїздів і потім виконують вибір моделі на тренуванні. За його словами, вони перекваліфікуються, використовуючи оригінальний тренувальний набір розділений, але не тестовий набір. Потім тестовий набір використовується для оцінки остаточної оцінки моделі. Особисто я бачу три недоліки в цьому: (а) це не вирішує проблему, про яку я згадав, коли деякі гіперпараметри залежать від обсягу навчання, оскільки ви все одно перепідготовки, (б) під час тестування багатьох моделей я віддаю перевагу більш досконалим. такі методи, як вкладене перехресне підтвердження, щоб жодні дані не втрачали трату, і (c) затримка - це жахливий спосіб зробити висновок про те, як модель буде узагальнена, коли у вас мало даних.

Так, ти можеш.

Оскільки дані тесту, які повинні надходити від подібного розподілу для підготовки даних, ви не зламаєте свою модель. Якщо ви тренувались зразково, ви не помітите суттєвих змін (крім кращої метрики точності на даних попереднього тесту / перевірки)

Але рідко буває так, що дані тесту надходять із точно такого ж розподілу, як і дані поїздів, тому в реальному сценарії застосування ви можете отримати кращу узагальненість вашої моделі.

Відповідь на це питання залежить від алгоритму (технології) навчання, який ви використовуєте. Наприклад, я бачив деякі підходи в класифікації ансамблів, де набори для навчання та перевірки (але не тестування) поєднуються в кінці. Дуже важливо знати, що навіть валідація використовується в основному для визначення гіперпараметрів, деякі з цих параметрів можуть бути функцією використовуваних даних для тренувань. Наприклад, у DNN-валідації було відомо, коли зупинитись, оскільки переозброєння може статися в результаті збереження настройки параметрів (ваг) мережі, нам потрібен спосіб знати, коли зупинитись. Без валідації ви будете сліпо ходити в тренувальному процесі. З іншого боку, якщо ви використовуєте точно таку ж кількість ітерацій, як зазначено раніше, є велика проблема, яку ви не отримаєте з цих додаткових зразків. Набір тестування взагалі не слід чіпати, як зазначено вище, без набору тестування у вас не буде способу оцінити вашу модель. Це азартні ігри, ви НЕ МОЖЕТЕ доставляти будь-яку модель чи рішення без оцінки її точності на справжньому розподілі даних (який представлений даними тестування).