Підходи при навчанні з величезних наборів даних?

В основному, існує два поширених способи навчитися проти величезних наборів даних (коли ви стикаєтесь із обмеженнями часу та простору):

1. Обман :) - використовуйте просто "керований" підмножину для тренувань. Втрата точності може бути незначною через закон зменшення віддачі - прогнозована ефективність моделі часто вирівнюється задовго до того, як у неї будуть включені всі дані тренувань.
2. Паралельні обчислення - розділіть проблему на менші частини та вирішіть кожну на окремій машині / процесорі. Вам потрібна паралельна версія алгоритму, але гарна новина полягає в тому, що багато загальних алгоритмів є, природно, паралельними: найближчий сусід, дерева рішень тощо.

Чи існують інші методи? Чи є якесь правило, коли використовувати кожне? Які недоліки кожного підходу?

Stream Mining - одна відповідь. Його також називають:

• Майнінг потоку даних
• Інтернет-навчання

• Масивне навчання в Інтернеті

  Замість того, щоб укладати всі набори даних у пам'ять і тренуватись з неї. Вони поміщають шматки його в пам'ять і тренують класифікатор / кластери з цих потоків. Дивіться наступні посилання.

• Data_stream_mining з Вікіпедії.

• MOA: Масивний Інтернет-аналіз

  • Стаття
  • Інструмент , написаний на Java, здатний використовувати алгоритми Weka
  • Книга

• Видобуток книги масових наборів даних , зі Стенфордського університету. Він використовує MapReduce як інструмент.

• Відео у videolectures.net. Шукайте в ньому подібні відеоролики на цьому сайті.

  • Найсучасніший процес пошуку потоків даних
  • Майнінг масивних наборів даних

Замість використання лише одного підмножини можна використовувати декілька підмножин, як у міні-пакетному навчанні (наприклад, стохастичний градієнтний спуск). Таким чином, ви все одно будете використовувати всі свої дані.

Такі ансамблі, як упаковка або змішування - жодних даних не витрачається, проблема автоматично стає тривіально паралельною, і можливо, буде досягнуто значної точності / надійності.