Які відмінності між "епохою", "партією" та "міні-партією"?

Наскільки мені відомо, коли приймається Stochastic Gradient Descent як алгоритм навчання, хтось використовує 'epoch' для повного набору даних та 'batch' для даних, що використовуються в одному кроці оновлення, в той час як інший використовує відповідно 'batch' і 'minibatch', і інші використовують "епоху" та "міні-серію". Це приводить до великої плутанини під час обговорення.

Отже, що є правильним висловом? Або це просто діалекти, які всі прийнятні?

• Епоха означає один прохід за повний набір тренувань
• Пакет означає, що ви використовуєте всі свої дані для обчислення градієнта під час однієї ітерації.
• Міні-пакет означає, що ви берете лише підмножину всіх своїх даних за одну ітерацію.

$n$

$n$

$b$$b$$n$$n/b$

$n$$n$

"Епоха" зазвичай означає розкриття алгоритму навчання всьому набору навчальних даних. Це не завжди має сенс, оскільки ми іноді генеруємо дані.

"Пакет" та "Міні-сетч" можуть бути заплутаними.

Приклади тренувань іноді потребують «вибору», оскільки не всі дані можуть обов'язково піддаватися дії алгоритму відразу (через обмеження пам'яті, як правило).

У контексті SGD "Minibatch" означає, що градієнт обчислюється по всій партії перед оновленням ваг. Якщо ви не використовуєте "міні-партію", кожен навчальний приклад у "партії" оновлює параметри алгоритму навчання незалежно.