Які класифікатори машинного навчання є найбільш паралельними?

Які класифікатори машинного навчання є найбільш паралельними? Якщо б у вас була складна проблема класифікації, обмежений час, але гідна локальна мережа комп'ютерів для роботи, які класифікатори ви б спробували?

З іншого боку, мені здається, що це якихось стандартних класифікаторів, про які я знаю, як описано нижче, але я можу бути абсолютно помилковим:

Випадкові ліси - дуже паралельні, якщо кожна машина може зберігати всі дані (тобто не може розділити дані тренувань як такої, але в іншому випадку паралельно).

Підвищення -?

Підтримка векторної машини - не дуже паралельна.

Дерева рішень - Можна розділити частково, але не дуже ефективно.

Були зроблені зусилля для паралелізації більшості відомих класифікаторів, включаючи розширення [ папір ], SVM [ папір ] і навіть дерева рішень [ папір ]. Звичайно, визнаючи паралелізм, ви іноді програєте іншим аспектам, будь то реалізація алгоритму, складність вибірки чи інші звичні підозрювані.

З кінця теорії питання складніше, тому що, коли ви говорите про навчання, ви повинні думати про цільову функцію. Наприклад, ми навіть не знаємо, що дерева рішень можуть бути зрозумілими через PAC, тому якщо ціль (як і метод) є деревом рішень, ми навіть не можемо вивчити її (поки що), не вводячи додаткові аспекти в проблема. Прискорення подолає це завдяки припущенню слабких умов навчання, запасу SVM і т. Д. Я думаю, що ці припущення переносяться на паралельний випадок, щоб дати вам навчання PAC.

Але, як завжди, існує велика розрив між кордонами (і, отже, проблемами) теорії та практики. Наприклад, на практиці має значення, чи є паралелізм над ядрами або кластерами. Один алгоритм, розроблений спеціально для практичного використання в налаштуваннях великих даних, - це VW , і він починає підтримувати паралелізм. Можливо, вас зацікавлять роботи в практичному семінарі NIPS 2010 щодо практичного паралельного навчання.