Рання зупинка на втраті перевірки чи на точності?

В даний час я навчаю нейронну мережу, і не можу вирішити, що використовувати для реалізації своїх критеріїв раннього припинення: втрата валідації або такі показники, як точність / f1score / auc / незалежно від обчислених наборів перевірки.

У своєму дослідженні я натрапив на статті, що захищають обидві точки зору. Здається, Керас за замовчуванням втрати валідації, але я також натрапив на переконливі відповіді протилежного підходу (наприклад, тут ).

У когось є вказівки щодо того, коли краще використовувати втрати валідації та коли використовувати конкретний показник?

TLDR; Контролюйте втрати, а не точність

Я відповім на власне запитання, оскільки думаю, що отримані відповіді пропустили точку, і хтось може мати одну і ту ж проблему одного дня.

По-перше, дозвольте мені швидко уточнити, що використання ранньої зупинки є цілком нормальним при навчанні нейронних мереж (див. Відповідні розділи в книзі «Глибоке навчання» Goodfellow et al., Більшість паперів DL та документацію для зворотного виклику керів EarlyStopping).

Тепер, щодо кількості для моніторингу: віддайте перевагу втраті точності. Чому? Кількість втрат кількісно визначає, наскільки певна модель стосується прогнозування (в основному має значення, близьке до 1 у правому класі та близьке до 0 в інших класах). Точність лише пояснює кількість правильних прогнозів. Аналогічно, будь-які показники, що використовують жорсткі прогнози, а не ймовірності, мають однакову проблему.

Очевидно, яку б метрику ви не підходили до вибору, її слід розраховувати на наборі перевірки, а не на навчальному наборі (інакше ви повністю пропускаєте точку використання EarlyStopping в першу чергу)

На мою думку, це суб’єктивно та проблематично. Ви повинні використовувати все, що є найважливішим фактором у вашій свідомості, як рушійну метрику, оскільки це може прийняти ваші рішення щодо того, як змінити модель, щоб бути більш зосередженою.

$L_1$

Наприклад, якщо ви повідомляєте F1-бал у своєму звіті / своєму начальнику тощо (і припускаючи, що це саме їх насправді хвилює), то використання цього показника може мати найбільш сенс. F1-рахунок, наприклад, приймає точність і згадати до уваги те , що описує взаємозв'язок між більше двох дрібнозернистих метрик.

Якщо об'єднати ці речі разом, обчислення результатів, окрім звичайних втрат, може бути приємним для огляду та побачити, як оптимізується ваш остаточний показник у ході навчальних ітерацій. Ці відносини, можливо, можуть дати вам більш глибоке розуміння проблеми,

Зазвичай найкраще спробувати кілька варіантів, однак оптимізація втрат під час перевірки може дати можливість навчанню тривати довше, що в кінцевому підсумку також може призвести до найкращого показника F1 . Точність і відкликання можуть коливатися навколо деяких місцевих мінімумів, створюючи майже статичний показник F1 - так ви припините тренуватися. Якби ви оптимізували чисті втрати, можливо, ви зафіксували достатньо коливання втрат, щоб ви могли довше тренуватися.

В даний час я навчаю нейронну мережу, і не можу вирішити, що використовувати для реалізації своїх критеріїв раннього припинення: втрата валідації або такі показники, як точність / f1score / auc / незалежно від обчислених наборів перевірки.

Якщо ви тренуєтесь у глибокій мережі, я настійно рекомендую не використовувати ранню зупинку. У глибокому навчанні це не дуже звично. Натомість ви можете використовувати інші методи, такі як випадання, щоб добре узагальнити. Якщо ви наполягаєте на цьому, вибір критерію залежить від вашого завдання. Якщо у вас є незбалансовані дані, ви повинні використовувати F1оцінку та оцінювати їх за вашими перехресними даними. Якщо у вас є збалансовані дані, спробуйте використовувати точність даних перехресної перевірки. Інші методи сильно залежать від вашого завдання.

Я настійно заохочую вас знайти модель, яка дуже добре відповідає вашим даним, та використати можливість відмовитися від цього. Це найбільш звична річ, яку люди використовують для глибоких моделей.