Чому інформація про дані перевірки просочується, якщо я оцінюю ефективність моделі на даних валідації під час налаштування гіперпараметрів?

У Глубокому навчанні з Python Франсуа Шолле сказано:

Як результат, налаштування конфігурації моделі на основі її продуктивності на наборі валідації може швидко призвести до надмірного пристосування до набору перевірок, навіть якщо ваша модель ніколи безпосередньо на ній не навчається.

Центральним у цьому явищі є поняття протікання інформації. Кожен раз, коли ви налаштовуєте гіперпараметр своєї моделі на основі продуктивності моделі на наборі перевірки, деяка інформація про дані перевірки просочується в модель . Якщо ви зробите це лише один раз для одного параметра, то буде витікати дуже мало бітів інформації , і ваш набір перевірки залишиться надійним для оцінки моделі. Але якщо ви повторите це багато разів - запустивши один експеримент, оцінюючи набір перевірки та змінивши модель в результаті - тоді ви просочите все більшу кількість інформації про перевірку, встановлену в моделі.

neural-networks cross-validation hyperparameter

— фабіомія
джерело

BTW: це залежить не тільки від того, як часто ви це робите, але і від випадкової невизначеності вашої оцінки ефективності (цільового функціоналу) під час оптимізації.

— cbeleites незадоволений SX

@cbeleites Вибачте, що це означає?

— fabiomaia

якби результати валідації, які використовувались для оптимізації, були ідеальними (тобто не систематизованими та випадковими помилками), оптимізація обрала б справді оптимальну модель, у вас не було б жодного перевитрати, а інша незалежна ідеальна валідація обраної моделі дала б точно такий же результат. Оптимізація може навіть допустити систематичну помилку (упередженість), доки вона не змінюється залежно від факторів, які змінюються під час оптимізації. Тепер подумайте, що станеться, якщо у оцінці продуктивності є випадкова помилка (дисперсність невизначеності): ви отримуєте шум поверх справжнього перманентного «пейзажу».

— cbeleites незадоволений SX

Цей шум може зробити деяку точку (параметри гіперпараметра) виглядати краще, ніж є насправді, тому ці параметри гіперпараметра можуть бути обрані випадково (і помилково). Імовірність того, що це станеться, збільшується з а) кількістю разів, коли ви дивитесь на такі показники продуктивності та б) кількість шуму, який ви маєте на верхній частині справжньої продуктивності (порівняно з справжнім збільшенням продуктивності). Йдеться не про те, чому повторне використання результатів перевірки є витоком даних, а про те, як відбувається відповідне надмірне навантаження та наскільки серйозну проблему слід очікувати - таким чином лише коментар.

— cbeleites незадоволений SX

Інформація просочена, оскільки ви використовуєте дані перевірки для вибору варіантів гіперпараметрів. По суті, ви створюєте складну проблему оптимізації: мінімізуйте втрати над гіпер-параметрами $\phi$ як оцінено на основі даних валідації, де ці гіперпараметри регулюють модель нейронної мережі, яка має параметри $\theta$ тренується за допомогою спеціального навчального набору.

Навіть за параметрами $\theta$ безпосередньо інформують дані тренувань, гіперпараметри $\phi$ вибираються на основі даних валідації. Більше того, тому що гіперпараметри $\phi$ неявно впливати $\theta$ , інформація з даних перевірки опосередковано впливає на обрану вами модель.

— Sycorax каже, що відновіть Моніку
джерело

В ретроспективі це було досить очевидно. Але що означає "Якщо ви зробите це лише один раз для одного параметра, то дуже мало інформації просочиться" тоді це означає? Що мається на увазі там і як воно контрастує з іншим випадком, коли «ти повторюєш це багато разів»?

— фабіомія

Припустимо, ви спробуйте лише 2 конфігурації гіперпараметри, вимірюючи продуктивність по відношенню до даних перевірки, і вибрати кращу модель. Існує менший шанс, що сліпою удачею вам вдалося переоцінити дані перевірки. Навпаки, припустимо, ви спробуєте

2^{10}

$2^{10}$ конфігурації гіперпараметрів та вибирайте найкращу модель на основі даних перевірки. Існує більший ризик, що, лише за допомогою сліпої удачі, вам вдалося переоцінити дані перевірки. Дивіться також: "Сад розгалуження доріжок" та виявлення помилкових наслідків.

— Sycorax каже, що повернеться до Моніки

Це має ідеальний сенс. Формулювання в оригінальній книзі було не найкращим. Дякую!

— fabiomaia

Формулювання в книзі відмінне.

— Майкл М

Вам може здатися «відмінним», тому що ви, ймовірно, вже знаєте, про що говорить автор. Коментар @Sycorax був для мене набагато більш чітким і корисним.

— fabiomaia