Регуляризація та масштабування функцій в онлайн-навчанні?

Скажімо, у мене є класифікатор логістичної регресії. У звичайному серійному навчанні я мав би термін регуляризатора, щоб запобігти надягання і зберегти ваги невеликими. Я б також нормалізував і масштабував свої функції.

У режимі онлайн-навчання я отримую безперервний потік даних. Я оновлюю градієнтне зменшення з кожним прикладом, а потім відкидаю його. Чи потрібно використовувати термін масштабування функцій та регуляризацію в онлайн-навчанні? Якщо так, то як я можу це зробити? Наприклад, у мене немає набору навчальних даних, з якими можна було б оцінювати. У мене також не встановлено перевірку, щоб настроїти параметр регуляризації. Якщо ні, то чому б ні?

Під час навчання в Інтернеті я постійно отримую потік прикладів. Для кожного нового прикладу я роблю передбачення. Потім на наступному кроці часу я отримую фактичну ціль і оновлюю спуск градієнта.

Вабіт vowpal проекту з відкритим кодом включає в себе реалізацію онлайн-SGD, що підсилюється за допомогою "льоту" (онлайн) обчислення 3 додаткових факторів, що впливають на оновлення ваги. Ці фактори можуть бути включені / відключені відповідними параметрами командного рядка (за замовчуванням усі три включені, --sgdопція вимикає їх усіх, тобто: відкидання на "класичний" SGD).

3 варіанти посилення SGD:

• --normalized оновлення, адаптовані до масштабу кожної функції
• --adaptive використовує адаптивний градієнт (AdaGrad) (Duchi, Hazan, Singer)
• --invariant важливі відомості про оновлення (Karampatziakis, Langford)

Разом вони гарантують, що онлайн-процес навчання здійснює 3-х кратну автоматичну компенсацію / коригування для:

• масштабування за особливістю (великі проти малих значень)
• занепад швидкості навчання на особливості залежно від важливості функції
• за функцією адаптивного регулювання швидкості навчання для поширеності ознак / рідкість у прикладах

Підсумок полягає в тому, що немає необхідності попередньо нормалізувати або масштабувати різні функції, щоб зробити школяра менш упередженим та більш ефективним.

Крім того, vowpal wabbit також здійснює онлайн-регуляризацію через усічений градієнтний спуск з параметрами регуляризації:

• --l1 (L1-норма)
• --l2 (L2-норма)

Мій досвід щодо цих удосконалень у кількох наборах даних полягав у тому, що вони значно покращили точність моделі та більш плавну конвергенцію, коли кожен із них був введений у код.

Ось декілька наукових праць для більш детальної інформації про ці удосконалення:

• Значення в Інтернеті про вагомі оновлення, зроблені Нікосом Карампацьякісі та Джоном Ленгфордом + слайди обговорення цього документу
• Рідке онлайн-навчання за допомогою усіченого градієнта Джона Лангфорда, Ліхон Лі та Тонг Чжана
• Адаптивні субградієнтні методи навчання в Інтернеті та стохастичної оптимізації Джон Дючі, Елад Хазан, Йорам Сінгер

У цій роботі описана методика онлайн-регуляризації, яку вони застосовують до різних алгоритмів, включаючи логістичну регресію: http://ai.stanford.edu/~chuongdo/papers/proximal.pdf

так, вам, безумовно, потрібна регуляризація ... це також допомагає спускати градієнт (і ініціалізувати швидкість навчання до 1 / С)

див., наприклад, папір SGD-QN http://leon.bottou.org/ paper paperou

ви насправді не пояснили, що ви маєте на увазі під навчанням в Інтернеті: наприклад, для кожного пункту ви отримуєте цільове значення? Я не знаю, як би ви включили ... пошук C ... Я думаю, у вас було б кілька класифікаторів з різними термінами регуляризації та відстежувати помилку прогнозування (перш ніж оновлювати ваги)