Платформи хмарних обчислень для машинного навчання [закрито]


36

У мене є невеликий список компаній, які надають платформу для запуску сценаріїв R, python або octave на кластерах, побудованих на вершині amazon EC2. Чи є інші імена, які я повинен додати?

  1. Хмарні числа
  2. Опані
  3. crdata


Ви можете знайти більше варіантів у цьому дописі: blog.uruit.com/getting-started-with-machine-learning-2
Regiane Folter

Відповіді:


15

Я не використовував ці фірми, але це лише деякі варіанти. Однак налаштування на EC2 дуже проста. Принаймні після того, як ви оніміли голову, вдарившись об стіну досить сильно і досить часто. Це також збільшує ваш поріг болю. Дітям у наші дні це набагато простіше. Коли я починав роботу, ми займалися обчисленням туману: ми не мали найменшого туману, що робимо.

Нагадування убік ... Інструменти та ресурси існують, щоб обійти цих постачальників і почати самостійно. JD Longsegue спростив почати використовувати R на EMR.

Що стосується Python, boto - це набір, який дозволяє легко ввімкнути і запустити Python на EC2. Також досить легко налаштувати і запустити Python на Google AppEngine , якщо ви бажаєте розглянути альтернативу EC2. Якщо ви знаєте Python, то насправді не потрібно найняти компанію, яка б здійснила підйом за вас, якщо тільки ви не знайомі зі масштабуванням, заточуванням, балансуванням навантаження тощо, навіть на концептуальному рівні. З іншого боку, якщо ви задумали витратити багато грошей на подібні послуги, непогано ознайомитись з тим, як зробити свій код ефективним.

Що стосується Octave на хмарі, то я не маю уявлення, що існує крім цих трьох компаній. Monkey Analytics колись пропонував це, але, схоже, їх уже немає. Я рекомендував би уникати Octave і зосередитися на Python або R.

Одним із ресурсів для полегшення налаштування є StarCluster . Знову ж таки, немає досвіду з ними, але це може бути корисним маршрутом.

Чесно кажучи, Ubuntu (або Windows) та EC2 не так важко вивчити. Я б дуже не рекомендував Windows для R, оскільки серед розробників R та Windows немає великої любові. (Примітка. Наскільки я можу сказати , немає серйозних хмарних сервісів Mac OS X.) Коли ви маєте віддалений робочий стіл, ви займаєтеся бізнесом. Вивчення масштабування - наступний крок.


Оновлення 1: Інші, більш загальні, послуги управління хмарою включають RighstScale та Scalr.

Оновлення 2: Я хочу наголосити на тому, що важливо навчитися налаштовувати власні екземпляри та кластери в хмарі для себе. Серед переваг практичної роботи:

  • Дізнайтеся, як керувати сумішшю ресурсів (кілька екземплярів, кілька типів екземплярів, безліч HD-дисків, різні зони доступності або регіони, різні інструменти моніторингу тощо)
  • Тінкер з графічними процесорами, якщо бажаєте (перевірити gputools)
  • Ви можете легше оновити або відкатати свій вибір пакетів
  • Можливо, ви зможете отримати набагато менші витрати, використовуючи або точкові екземпляри, або зарезервовані екземпляри.
  • Ви можете спробувати різні R GUI або IDE, що може не бути варіантом для постачальників хмарних технологій.

Існують переваги використання керованого постачальника, наприклад, коротша крива навчання, можливо, краща підтримка для обміну ресурсами між групою, а може бути і деякі приємні штучки, але я не можу говорити про переваги, оскільки я почав використовувати EC2 перед будь-яким із них вийшов на ринок.


5

Існує також PiCloud для паралельного запуску коду Python на EC2.

На їхній сторінці продуктів :

PiCloud - це хмарно-обчислювальна платформа, яка інтегрується в мову програмування Python. Це дає змогу використовувати обчислювальну потужність веб-служб Amazon без необхідності керування, обслуговування або налаштування віртуальних серверів.

PiCloud інтегрується в існуючу базу коду за допомогою спеціальної хмари бібліотеки Python. Щоб вивантажити виконання функції на наші сервери, все, що вам потрібно зробити, - це передати бажану функцію в хмарну бібліотеку. PiCloud запустить функцію на своєму високоефективному кластері. У міру запуску додаткових функцій наші кластерні автоматичні масштаби відповідають вашим обчислювальним потребам. Потрапити в хмару ніколи не було так просто!


Мені більше подобається PiCloud - я вважав їх надзвичайно простими, щоб встати і працювати.
Фоміт

3

Ви раніше пробували CloudStat ? На відміну від інших хмар, CloudStat призначений лише для користувачів мови R. Більше налаштувань немає. Ви можете просто увійти та безкоштовно використовувати до 7,5 Гб оперативної пам’яті.

Однак із безкоштовним обліковим записом ваш аналіз буде переглянуто та використаний публічно. Варіант - платити 5 доларів на місяць, щоб зробити свій аналіз приватним.


0

Однією з хмарних обчислювальних платформ, яку я можу порекомендувати, є Backbone, яка забезпечує безпечну платформу хмарних обчислень, що підвищує продуктивність .


У них є R-специфічна пропозиція? Я не шукаю загального постачальника хмарних обчислень, я шукаю такого, який забезпечує попередньо налаштовані R (бажано, RStudio) сервери.
Зак

Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.