Широка масштабна класифікація тексту

Я хочу зробити класифікацію моїх текстових даних. У мене 300 classes200 навчальних документів на заняття (так 60000 documents in total), і це, ймовірно, призведе до дуже високих розмірних даних (ми можемо шукати розміри, що перевищують 1 мільйон ).

Я хотів би виконати наступні кроки в трубопроводі (просто щоб ви зрозуміли, які вимоги є у мене):

1. Перетворення кожного документа у векторний ( tf-idfабо vector space model)
2. Feature selection( Mutual Informationбажано на основі, або будь-який інший стандартний)
3. Навчання класифікатора ( SVM, Naive Bayes, Logistic Regressionабо Random Forest)
4. Прогнозування небачених даних на основі навчальної моделі класифікатора.

Отже, питання полягає в тому, які інструменти / рамки я використовую для обробки таких високомірних даних? Мені відомі звичайні підозрювані (R, WEKA ...), але, наскільки я знаю (я можу помилятися), можливо, ніхто з них не може обробляти такі великі дані. Чи є якийсь інший інструмент, який я можу подивитися?

Якщо мені доведеться паралелізувати це, чи варто дивитись на Apache Mahout ? Схоже, це може ще не забезпечити потрібну мені функціональність.

Дякуємо всім заздалегідь.

Оновлення: я оглянув цей веб-сайт , список розсилки R та Інтернет взагалі. Мені здається, що в моїй ситуації можуть виникнути такі проблеми:

(1) Попередня обробка моїх даних за допомогою R ( зокрема пакету tm ) може бути недоцільною , оскільки tmбуде надмірно повільною.

(2) Оскільки мені потрібно буде використовувати ансамбль пакетів R (попередня обробка, розріджені матриці, класифікатори тощо), сумісність між пакетами може стати проблемою, і я можу зазнати додаткових накладних витрат при перетворенні даних з одного формату в інший . Наприклад, якщо я виконую попередню обробку за допомогою tm(або зовнішнього інструменту, такого як WEKA), мені потрібно буде знайти спосіб перетворення цих даних у форму, яку можуть читати бібліотеки HPC в R. І знову мені незрозуміло, чи пакети класифікаторів безпосередньо братимуть дані, передбачені бібліотеками HPC.

Я на правильному шляху? І що ще важливіше, я маю сенс?

Це повинно бути можливим, щоб воно працювало до тих пір, поки дані представлені у вигляді розрідженої структури даних, scipy.sparse.csr_matrixнаприклад, в Python. Я написав підручник для роботи над текстовими даними . Крім того, можна додатково зменшити використання пам'яті, використовуючи трюк хешування: адаптувати його до використання HashingVectorizerзамість CountingVectorizerабо TfidfVectorizer. Це пояснюється в розділі документації з текстовими функціями вилучення .

Випадкові ліси в цілому набагато дорожчі, ніж лінійні моделі (такі як лінійні векторні машини підтримки та логістична регресія) та багаточленні або наївні Берєллі Байеса, і для більшості проблем класифікації тексту, які не приносять значно кращої точності прогнозування, ніж простіші моделі.

Якщо scikit-learn не зможе розширити свою проблему, Vowpal Wabbit зробить (і, швидше за все, швидше, ніж sklearn), хоча він не реалізує всі моделі, про які ви говорите.

Відредаговано у квітні 2015 року, щоб відобразити поточний стан бібліотеки scikit-learn та виправити зламані зв’язки.

Gensim для Python - це магія. А оскільки він знаходиться в Python, ви можете використовувати його спільно з пропозицією @ ogrisel.

Я не зубнув власний ріг, але я зробив досить популярну відеосеріал про аналітику тексту з Rapidminer. Ви можете побачити його тут:

http://vancouverdata.blogspot.com/2010/11/text-analytics-with-rapidminer-loading.html

Можливо, ви можете уникнути вибору функцій, просто використовуйте класифікатор, який не створює матрицю мільйона * мільйонів у пам'яті :)

Логістичний регрес задушить такі аспекти. Наївний Бейс набуває незалежних розмірів, тому вам буде добре. SVM не залежить від кількості розмірів (але від кількості векторів підтримки), тому буде добре.

300 - це багато занять, хоча. Я б почав лише з декількох і попрацював ваш шлях вгору.

По-перше, виходячи з ваших коментарів, я б трактував це як 300 двійкових (так / ні) проблем класифікації. Існує багато простих у використанні відкритих джерел бінарних класифікаторів, які навчаються, і це дозволяє обміняти час на пам'ять.

SVM та логістична регресія - це, мабуть, найпопулярніші підходи для класифікації тексту. Обидва можуть легко впоратися з розмірами 1000000, оскільки в сучасних реалізаціях використовуються розрізнені структури даних і включають параметри регуляризації, що уникають перевитрати.

Кілька наборів машинного навчання з відкритим кодом, включаючи WEKA та KNIME , включають як SVM, так і логістичну регресію. Автономні реалізації SVM включають libSVM і SVMlight . Для логістичної регресії я підключу BXRtrain та BXRclassify , які я розробив разом з Мадіганом , Генкіним та іншими. BXRclassify може створити індекс пам'яті тисяч моделей логістичної регресії та застосовувати їх одночасно.

Щодо перетворення тексту в атрибутивну векторну форму, я якось завжди закінчую писати трохи Perl, щоб зробити це з нуля. :-) Але я думаю, що згадані мною комплекти машинного навчання включають токенізацію та код векторизації. Іншим маршрутом було б пройти з більшою кількістю інструментів на природній мові, як LingPipe , хоча це може бути для вас надмірним.

Оскільки Sklearn 0.13 дійсно є реалізацією HashingVectorizer .

EDIT: Ось повноцінний приклад такої програми від sklearn docs

В основному цей приклад демонструє, що ви можете класифікувати текст на даних, які не можуть вміститися в основній пам'яті комп'ютера (а саме на диску / мережі / ...).