Оптимізовані реалізації алгоритму Random Forest

Я помітив, що є кілька реалізацій випадкових лісів, таких як ALGLIB, Waffles і деякі подібні R-пакети randomForest. Хтось може сказати мені, чи ці бібліотеки високо оптимізовані? Вони в основному еквівалентні випадковим лісам, як це детально описано в «Елементах статистичного навчання», або було додано багато зайвих хитрощів?

Я сподіваюся, що це питання є досить конкретним. Як ілюстрацію того типу відповіді, який я шукаю, якби хтось запитав мене, чи сильно оптимізований пакет лінійної алгебри BLAS, я б сказав, що це надзвичайно оптимізовано і, головним чином, не варто намагатися вдосконалити, за винятком дуже спеціалізованих програм.

(Оновлено 6 IX 2015 з пропозиціями коментарів, також зроблено CW)

Доступні два нові, приємні пакети для R, які досить добре оптимізовані для певних умов:

• ranger - пакет C ++, R, оптимізований для проблем , паралельна, спеціальна обробка даних GWAS.$p>>n$
• Лісівник - C ++, R і Python прив'язка, оптимізована для крупно- проблем, по- видимому планів GPGPU.$n$

Інші реалізації РФ:

• Оригінальний - окремий код Fortran, а не паралельний, досить важкий у використанні.
• randomForest - пакет C, R, мабуть, найпопулярніший, а не паралельний, насправді досить швидкий у порівнянні з одноядерною швидкістю, особливо для невеликих даних.
• randomForestSRC - пакет C, R, клон randomForest, що підтримує паралельну обробку та проблеми виживання.
• сторона - пакет C, R, досить повільний, але розроблений як площина для експериментів з РФ.
• bigrf - пакет C + / R, R, створений для роботи над великими даними в рамках bigmemory ; досить далеко не повною.
• scikit learn Ансамбль лісу - Python, частина рамки scikit-learn, паралельна, реалізує багато варіантів РФ.
• Milk «сек РФ - Python, частина рамок молока.
• Вафлі - C ++, частина більшого набору інструментів ML, паралельна і досить швидка.
• так званий WEKA rf - Java / WEKA, паралельний.
• АЛГЛІБ
• Випадкові джунглі - покинуті?
• rt-ранг - покинутий?
• PARF - покинутий?

Папір Ranger має деякі порівняння швидкості та пам’яті, але ретельного орієнтиру немає.

Наскільки я знаю, версія R randomForest називає той же код Fortran, що і оригінальна версія. Крім того, тривіально паралелізувати функцію randomForest. Це фактично один із прикладів, наведених у документації foreach .

library(foreach)
library(randomForest)
rf <- foreach(ntree = rep(250, 4), .combine = combine, .packages = "randomForest") %dopar% 
randomForest(x, y, ntree = ntree)

Зважаючи на те, що випадкові ліси бентежно паралельні, найбільша оптимізація, яку ви можете зробити, - це запустити їх паралельно. Після цього, я не думаю, що в алгоритмі немає інших низько висячих фруктів, але я можу помилитися.

Єдине питання полягає в тому, що ви втрачаєте оцінку помилок, що знаходяться в кошику, у комбінованому лісі, але, мабуть, існує простий спосіб її обчислити (я насправді хотів би дізнатися, як це зробити).

ELSII використовується RandomForest (дивись , наприклад, виноска 3 p.591), який є реалізацією R від Breiman і Катлер Fortran код з Salford. Код Енді Лія знаходиться в C.

У пакеті партії (в С) запропонована ще одна реалізація РФ , яка покладається на R / Lapack, яка має певні залежності від BLAS (див. /include/R_ext/Lapack.hУ базовому каталозі R).

Що стосується пакетування, то паралелізувати його не повинно бути надто важко, але я дозволю більш спеціалізованим користувачам відповісти на цей аспект.

Команда, що стоїть за randomJungle, стверджує, що на порядок швидше, ніж реалізація R randomForest, і використовує на порядок менше пам'яті. Пакет для randomJungle розробляється для R, але поки не можу приступити до створення.

https://r-forge.r-project.org/projects/rjungler/

Для впровадження Javascript пройдіть цю демонстраційну версію.

Якщо ви схожа на дитину, яка голодна за шоколадом, ось ваш шоколад випадкових лісів http://cs.stanford.edu/people/karpathy/svmjs/demo/demoforest.html