Яка різниця між онлайн та пакетним навчанням?

Зараз я читаю статтю « Ефективне навчання в режимі он-лайн та пакетне навчання», використовуючи розділення «Вперед-назад», розроблені Джоном Дючі та Йорамом Зінгер. Мене дуже бентежить використання термінів "Інтернет" та "Пакет".

Я подумав, що "Інтернет" означає, що ми оновлюємо вагові параметри після обробки однієї одиниці даних тренувань. Потім ми використовуємо нові вагові параметри для обробки наступної одиниці даних тренувань.

Однак у статті, наведеній вище, використання не настільки ясно.

Мені здається, вони правильно використовують пакетне та онлайн-навчання. У розділі 3 вони працюють над усім набором даних для виконання навчання, тобто пакетного навчання, тоді як у розділі 4 вони переходять до стохастичного градієнта, слідуючи за яким можна використовувати як онлайн-алгоритм навчання.

Я ніколи не використовував стохастичний градієнт, що слідує як алгоритм онлайн-навчання; однак, можна просто зупинити процес оптимізації в середині навчального циклу, і він все ще є корисною моделлю. Для дуже великих наборів даних це корисно, оскільки ви можете виміряти конвергенцію і кинути навчання рано. Ви можете використовувати стохастичний градієнт, наступний як метод онлайн-навчання, оскільки ви оновлюєте модель для кожної нової точки даних, як я думаю, ви самі сказали. Хоча я обережно називаю це "за даними про навчання". Дані про тренінг - це набір даних, а не точка даних, але я думаю, що я зрозумів вас, оскільки ви сказали " за дані тренувань".

Коротко,

Онлайн: навчання на основі кожного зразків, як це спостерігається.

Пакетна група: навчання над групами малюнків. Більшість алгоритмів - пакетні.

Джерело: http://machinelearningmastery.com/basic-concepts-in-machine-learning/

Пакетна версія он-лайн навчання

Он-лайн та режими пакетної роботи дещо відрізняються, хоча обидва будуть добре працювати на поверхнях параболічної продуктивності. Одна з головних відмінностей полягає в тому, що алгоритм партії підтримує постійну вагу системи під час обчислення помилок, пов'язаних з кожним зразком у введенні. Оскільки он-лайн версія постійно оновлює ваги, для її розрахунку помилок (і, таким чином, оцінки градієнта) використовуються різні ваги для кожного вхідного зразка. Це означає, що два алгоритми під час адаптації відвідують різні набори точок. Однак вони обидва сходяться до однакового мінімуму.

Зауважимо, що кількість оновлень двох методів для однакової кількості презентацій даних сильно відрізняється. Он-лайн метод (LMS) здійснює оновлення кожного зразка, а пакетний - оновлення кожної епохи, тобто

Оновлення LMS = (пакетні оновлення) x (# зразків у навчальному наборі).

Алгоритм партії також є дещо ефективнішим за кількістю обчислень.