Використовуйте ліблінеар на великих даних для семантичного аналізу

17

Я використовую Libsvm для підготовки даних та прогнозування класифікації на проблему семантичного аналізу . Але у нього є випуск ефективності для масштабних даних, оскільки семантичний аналіз стосується проблеми n-виміру .

Минулого року вийшов Liblinear , і це може вирішити вузькі місця. Але це коштувало занадто багато пам'яті . Чи MapReduce - єдиний спосіб вирішити задачу семантичного аналізу на великих даних? Або існують інші методи, які можуть покращити вузьке місце пам’яті на Liblinear ?

machine-learning bigdata libsvm

— Puffin GDI
джерело

11

Зауважте, що існує рання версія LIBLINEAR, перенесена на Apache Spark . Див. Коментарі до списку розсилки, щоб ознайомитись з деякими ранніми деталями та веб-сайт проекту .

— Шон Оуен
джерело

Дякую за вашу відповідь. Це схоже на відмінність від SVM. Я опитую його. :)

— Puffin GDI

4

Лише нагадування про те, що ми не рекомендуємо пов'язувати веб-сайти з відповіддю, оскільки їх легко перервати за посиланнями, внаслідок чого корисний ресурс спільноти замість цього перетвориться на тупик. Завжди найкраще відповісти прямо у свій пост.

— Ана

1

Погодьтеся з цим. На даний момент він ледве існує як більше, ніж будь-яке посилання. Я додам посилання на базовий проект.

— Шон Оуен

10

Ви можете перевірити wabbit vowpal . Він досить популярний для широкомасштабного навчання і включає паралельні положення.

З їх веб-сайту:

VW - суть швидкості в машинному навчанні, здатна легко навчатись набору даних тератературних даних. Завдяки паралельному навчанню він може перевищувати пропускну здатність будь-якого єдиного машинного мережевого інтерфейсу при лінійному навчанні, першим серед алгоритмів навчання.

— Марк Класен
джерело

1

Відкритий код та деякі вікі. Виглядає добре. Дякуємо за вашу пропозицію. :)

— Puffin GDI