Вибір моделі в режимі офлайн та онлайн-навчання

Останнім часом я намагаюся дізнатися більше про онлайн-навчання (це абсолютно захоплююче!), І одна тема, яку мені не вдалося зрозуміти, - як думати про вибір моделі в офлайні та в Інтернеті. В Зокрема, припустимо , що ми тренуємо класифікатор в автономному режимі, на основі деякого фіксованого набору даних . Скажімо, його характеристики продуктивності здійснюється за допомогою перехресної перевірки, скажімо, і ми вибираємо найкращий класифікатор таким чином.$S$$D$

Це те, про що я думав: як же тоді ми з вами застосуємо $S$ до он-лайн налаштувань? Чи можемо ми припустити, що кращий $S$ знайдений в режимі офлайн, також буде добре працювати в режимі онлайн-класифікатора? Чи є сенс зібрати деякі дані для навчання $S$ , а потім взяти той самий класифікатор $S$ і "оперувати" його в онлайн-налаштуваннях з тими самими параметрами, що знаходяться на $D$ , чи може бути інший підхід кращим? Які застереження в цих випадках? Які ключові результати тут? І так далі.

У будь-якому випадку, зараз це там, я думаю, що я шукаю - це деякі довідники або ресурси, які допоможуть мені (і, сподіваюся, інші, хто думав про цю своєрідну річ!) Зробити перехід від мислення виключно в офлайн-терміні, і розвивати ментальні рамки, щоб міркувати над проблемою вибору моделі та цими питаннями більш цілісно, ​​по мірі прочитання мого читання.

Очевидно, що в потоковому контексті ви не можете розділити свої дані на набори поїздів і тестів для виконання перехресної перевірки. Використання лише показників, розрахованих на початковому наборі поїздів, звучить ще гірше, оскільки ви припускаєте, що ваші дані змінюються і ваша модель буде адаптуватися до змін - саме тому ви в першу чергу використовуєте онлайн-режим навчання.

Що ви можете зробити - це використовувати тип перехресної перевірки, який використовується у часових рядах (див. Hyndman and Athanasopoulos, 2018 ). Для оцінки точності моделей часових рядів можна використовувати послідовний метод, де модель навчається на спостереженнях для прогнозування на часовій точці "майбутнього". Це може бути застосовано по одній точці або по партіях, і процедура повторюється, поки ви не перейдете всі свої дані (див. Малюнок нижче, взято з Hyndman та Athanasopoulos, 2018 ).$k$$k+1$

Зрештою, ви якось середні (зазвичай середнє арифметичне, але ви можете використовувати щось на зразок експоненціального згладжування) показники помилок для отримання загальної оцінки точності.

В онлайн-сценарії це означатиме, що ви починаєте з точки 1 та випробовуєте на часовій точці 2, наступну перепідготовку на часовій точці 2, для тестування на часовій точці 3 тощо.

Зауважте, що така методологія перехресної перевірки дозволяє враховувати мінливий характер роботи ваших моделей. Очевидно, оскільки ваша модель адаптується до даних і дані можуть змінюватися, вам потрібно буде регулярно контролювати показники помилок: інакше це не сильно відрізнятиметься від використання наборів поїздів фіксованого розміру та тестових наборів.