Будь-які пропозиції щодо створення коду R використовувати декілька процесорів?

У мене є R-скрипти для читання великої кількості даних CSV з різних файлів, а потім для виконання завдань машинного навчання, таких як svm для класифікації.
Чи є бібліотеки для використання декількох ядер на сервері для Р.
або
Який найбільш підходящий спосіб досягти цього?

Якщо це на Linux, то найбільш прямим є багатоядерний . Крім того, я пропоную переглянути MPI (особливо з пакетом снігу ).

Загалом, подивіться на:

1. Вид високоефективних обчислень на CRAN.
2. "Стан мистецтва в паралельних обчисленнях з R"

Нарешті, я рекомендую використовувати пакет foreach, щоб абстрагувати паралельний вихідний код у вашому коді. Це зробить це кориснішим у довгостроковій перспективі.

Якщо ви використовуєте GNU / Linux, попередні відповіді Шейна та Дірка чудові.

Якщо вам потрібно рішення для Windows, у цьому дописі є таке:

Паралельна багатоядерна обробка з R (у Windows)

Хоча пакет ще не є CRAN. його можна завантажити за цим посиланням.

Шейн правильний. І багатоядерні, і Rmpi є переможцями.

Трохи ширше висвітлення теми міститься в CRAN Task View щодо високоефективних обчислень . Це також посилається на досить недавню статтю опитування про паралельні обчислення з R від JSS.

Нарешті, декілька практичних прикладів та порад є у вступі до HPC з навчальним посібником, який я даю раз у раз - дивіться мою сторінку з презентаціями щодо останньої копії з минулого тижня в користуванніR.

Я помітив, що в попередніх відповідях відсутні деякі загальні міркування щодо HPC.
Перш за все, жоден із цих пакетів не дозволить вам запускати один SVM паралельно. Отже, що ви можете пришвидшити, це оптимізація параметрів або перехресне підтвердження, все-таки для цього потрібно написати власні функції. Або, звичайно, ви можете виконувати завдання для різних наборів даних паралельно, якщо це так.
Друге питання - пам’ять; якщо ви хочете поширити обчислення на кілька фізичних комп'ютерів, немає безкоштовного обіду, і ви повинні скопіювати дані - тут ви повинні врахувати, чи є сенс передбачити копію даних на комп’ютерах, щоб зберегти деякий зв’язок. З іншого боку, якщо ви хочете використовувати декілька ядер на одному комп’ютері, то багатоядерність особливо доречна, оскільки вона дозволяє всім дочірнім процесам отримати доступ до пам'яті батьківського процесу, так що ви можете заощадити деякий час і багато місця в пам'яті.

І відповіді Шейна, і Дірка помічені.

Тим не менш, ви можете подивитися на комерційну версію R, що називається Revolution R, яка створена для роботи з великими наборами даних і працює на декількох ядрах. Це програмне забезпечення безкоштовне для науковців (це може бути у вашому випадку, я не знаю)