У цей час майже завжди алгоритм вибору для глибокого навчання є методами на основі стохастичних градієнтів. Це означає, що дані надходять у вигляді партій, градієнти обчислюються та параметри оновлюються. Це означає, що ви також можете обчислити втрати над даними під час вибору кожної партії. В рамках цієї структури, існує два шляхи , як втрата обчислюється , що я можу думати, що може привести до цього явища , що помилка тренування більше , ніж помилка перевірки. Нижче я показую, що Керас насправді таким чином обчислює помилки у вибірці.
1.) Помилка тренувань усереднюється протягом цілої епохи, швидше всі відразу в кінці епохи, але помилка перевірки лише в кінці епохи. Зауважте, що помилка перевірки має перевагу повного оновлення, тоді як помилка тренінгу включає обчислення помилок із меншою кількістю оновлень. Звичайно, асимптотично цей ефект взагалі повинен зникати.
2.) Помилка тренувань обчислюється до того, як буде виконано оновлення пакету. У методі на основі стохастичного градієнта є деякий шум градієнта. Поки хтось піднімається на гору, є велика ймовірність того, що зменшуються глобальні втрати, обчислені за всі навчальні зразки. Однак, коли один отримує дуже близько до режиму, напрямок поновлення буде негативним по відношенню до зразків в вашої партії. Але так як ми підстрибуючи режим, це означає , що в середньому ми повинні вибрати напрямок , яке є позитивним по відношенню до зразків , виконанимпартії. Тепер, якщо ми збираємось оновити відносно зразків у певній партії, це означає, що вони були висунуті навколо потенційно багато пакетних оновлень, до яких вони не були включені, обчислюючи їх втрати до оновлення, це коли стохастичне методи підштовхнули параметри найбільш на користь інших зразків у вашому наборі даних, тим самим надаючи нам невеликий зміщення вгору щодо очікуваної втрати.
Зауважте, що, незважаючи на асимптотику, ефект (1) згасає, (2) - ні! Нижче я показую, що Керас, як видається, робить і (1), і (2).
(1) Показано, що показники усереднюються по кожній партії в епоху, а не всі відразу в кінці. Помітьте ВЕЛИЧЕЗНУ різницю в точності вибірки проти валь-акумуляції, що сприяє валь-акумуляції в перші епохи. Це пояснюється тим, що деякі помилки у вибірці обчислюються за допомогою дуже мало пакетних оновлень.
>>> model.fit(Xtrn, Xtrn, epochs = 3, batch_size = 100,
... validation_data = (Xtst, Xtst))
Train on 46580 samples, validate on 1000 samples
Epoch 1/3
46580/46580 [==============================] - 8s 176us/sample
- loss: 0.2320 - accuracy: 0.9216
- val_loss: 0.1581 - val_accuracy: 0.9636
Epoch 2/3
46580/46580 [==============================] - 8s 165us/sample
- loss: 0.1487 - accuracy: 0.9662
- val_loss: 0.1545 - val_accuracy: 0.9677
Epoch 3/3
46580/46580 [==============================] - 8s 165us/sample
- loss: 0.1471 - accuracy: 0.9687
- val_loss: 0.1424 - val_accuracy: 0.9699
<tensorflow.python.keras.callbacks.History object at 0x17070d080>
(2) Показ помилки обчислюється перед оновленням для кожної партії. Зауважимо, що для епохи 1, коли ми використовуємо batch_size = nRows(тобто всі дані в одній партії), помилка у вибірці становить приблизно 0,5 (випадкове відгадування) для епохи 1, проте помилка перевірки становить 0,82. Тому помилка у вибірці була обчислена перед оновленням пакету, тоді як помилка перевірки була обчислена після пакетного оновлення.
>>> model.fit(Xtrn, Xtrn, epochs = 3, batch_size = nRows,
... validation_data = (Xtst, Xtst))
Train on 46580 samples, validate on 1000 samples
Epoch 1/3
46580/46580 [==============================] - 9s 201us/sample
- loss: 0.7126 - accuracy: 0.5088
- val_loss: 0.5779 - val_accuracy: 0.8191
Epoch 2/3
46580/46580 [==============================] - 6s 136us/sample
- loss: 0.5770 - accuracy: 0.8211
- val_loss: 0.4940 - val_accuracy: 0.8249
Epoch 3/3
46580/46580 [==============================] - 6s 120us/sample
- loss: 0.4921 - accuracy: 0.8268
- val_loss: 0.4502 - val_accuracy: 0.8249