Чи може перцептрон забути?

Я хотів би побудувати Інтернет-систему машинного навчання в Інтернеті, де користувачі можуть постійно додавати класифіковані зразки та оновлювати модель в Інтернеті. Я хотів би використовувати персептрон або подібний алгоритм онлайн-навчання.

Але користувачі можуть робити помилки та вставляти неактуальні приклади. У цьому випадку я хотів би мати можливість видалити конкретний приклад, не перетренувавши перцептрон на весь набір прикладів (який може бути дуже великим).

Чи можливо це?

machine-learning online-algorithms

— Ерел Сегал-Халеві
джерело

дуже цікава ідея. чи доклали ви зусиль, щоб це формалізувати?

— Стрин

З огляду на специфіку вашої моделі перцептрон та вашого класифікатора, що відбувається, коли ви повторно вставляєте приклад із виправленою класифікацією? Це не зменшує вагу неправильних нейронів внутрішнього шару і не збільшує вагу правильних нейронів внутрішнього шару?

— Мандрівна логіка

Повторна вставка зразка, очевидно, може допомогти певним чином, однак я не впевнений, що в цьому випадку доказ коректності та конвергенції персептрону (тобто я не впевнений, що результати будуть ідентичними ситуації, коли помилковий зразок має не вставлено в першу чергу).

— Ерел Сегал-Халеві

Як наївне рішення, ви можете вести облік ваг перцептрона перед додаванням кожного нового зразка. Потім, коли ви хочете усунути зразок, (повторно) встановіть ваги перцептрона на їх значення до того, як буде доданий "поганий" приклад, і повторно тренуйте перцептрон з усіма дійсними прикладами, доданими після "поганого". Це передбачало б перепідготовку, але не на всьому прикладі. Звичайно, вам також доведеться вести записи прикладів і пов'язаних з ними ваг.

— rphv

Як я розумію процес , змінити перцептрон без перенавчання неможливо. Корегування ваги не тільки відносно конкретного прикладу, але й відносно інших прикладів тренувань, які були раніше. Виявлення неправильно класифікованого екземпляра та вилучення його з тестового набору перед перенавчанням моделі здавалося б найбільш ефективним способом корекції ваг.

Я думаю, що варто зазначити, що порівняно з іншими алгоритмами машинного навчання перцептрони відносно стійкі до шуму та неправильно класифікованих випадків у навчальному наборі . Якщо ви зіткнулися з великою кількістю випадків, що не підлягають класифікації, здається більш доцільним мати кращу валідацію в точці, коли ви вводите дані перед тренуванням, ніж придумувати спосіб виправити помилково класифіковані випадки після того, як перцептрон пройшов навчання. Якщо це неможливо, і ви можете ідентифікувати неправильно класифіковані екземпляри як такі, то видалення та перекваліфікація здається єдиним способом ефективного усунення впливу помилково класифікованих екземплярів.

— Річард Д
джерело