У мене є невеликий список компаній, які надають платформу для запуску сценаріїв R, python або octave на кластерах, побудованих на вершині amazon EC2. Чи є інші імена, які я повинен додати?
У мене є невеликий список компаній, які надають платформу для запуску сценаріїв R, python або octave на кластерах, побудованих на вершині amazon EC2. Чи є інші імена, які я повинен додати?
Відповіді:
Я не використовував ці фірми, але це лише деякі варіанти. Однак налаштування на EC2 дуже проста. Принаймні після того, як ви оніміли голову, вдарившись об стіну досить сильно і досить часто. Це також збільшує ваш поріг болю. Дітям у наші дні це набагато простіше. Коли я починав роботу, ми займалися обчисленням туману: ми не мали найменшого туману, що робимо.
Нагадування убік ... Інструменти та ресурси існують, щоб обійти цих постачальників і почати самостійно. JD Longsegue
спростив почати використовувати R на EMR.
Що стосується Python, boto - це набір, який дозволяє легко ввімкнути і запустити Python на EC2. Також досить легко налаштувати і запустити Python на Google AppEngine , якщо ви бажаєте розглянути альтернативу EC2. Якщо ви знаєте Python, то насправді не потрібно найняти компанію, яка б здійснила підйом за вас, якщо тільки ви не знайомі зі масштабуванням, заточуванням, балансуванням навантаження тощо, навіть на концептуальному рівні. З іншого боку, якщо ви задумали витратити багато грошей на подібні послуги, непогано ознайомитись з тим, як зробити свій код ефективним.
Що стосується Octave на хмарі, то я не маю уявлення, що існує крім цих трьох компаній. Monkey Analytics колись пропонував це, але, схоже, їх уже немає. Я рекомендував би уникати Octave і зосередитися на Python або R.
Одним із ресурсів для полегшення налаштування є StarCluster . Знову ж таки, немає досвіду з ними, але це може бути корисним маршрутом.
Чесно кажучи, Ubuntu (або Windows) та EC2 не так важко вивчити. Я б дуже не рекомендував Windows для R, оскільки серед розробників R та Windows немає великої любові. (Примітка. Наскільки я можу сказати , немає серйозних хмарних сервісів Mac OS X.) Коли ви маєте віддалений робочий стіл, ви займаєтеся бізнесом. Вивчення масштабування - наступний крок.
Оновлення 1: Інші, більш загальні, послуги управління хмарою включають RighstScale та Scalr.
Оновлення 2: Я хочу наголосити на тому, що важливо навчитися налаштовувати власні екземпляри та кластери в хмарі для себе. Серед переваг практичної роботи:
gputools
)Існують переваги використання керованого постачальника, наприклад, коротша крива навчання, можливо, краща підтримка для обміну ресурсами між групою, а може бути і деякі приємні штучки, але я не можу говорити про переваги, оскільки я почав використовувати EC2 перед будь-яким із них вийшов на ринок.
Існує також PiCloud для паралельного запуску коду Python на EC2.
На їхній сторінці продуктів :
PiCloud - це хмарно-обчислювальна платформа, яка інтегрується в мову програмування Python. Це дає змогу використовувати обчислювальну потужність веб-служб Amazon без необхідності керування, обслуговування або налаштування віртуальних серверів.
PiCloud інтегрується в існуючу базу коду за допомогою спеціальної хмари бібліотеки Python. Щоб вивантажити виконання функції на наші сервери, все, що вам потрібно зробити, - це передати бажану функцію в хмарну бібліотеку. PiCloud запустить функцію на своєму високоефективному кластері. У міру запуску додаткових функцій наші кластерні автоматичні масштаби відповідають вашим обчислювальним потребам. Потрапити в хмару ніколи не було так просто!
Ви раніше пробували CloudStat ? На відміну від інших хмар, CloudStat призначений лише для користувачів мови R. Більше налаштувань немає. Ви можете просто увійти та безкоштовно використовувати до 7,5 Гб оперативної пам’яті.
Однак із безкоштовним обліковим записом ваш аналіз буде переглянуто та використаний публічно. Варіант - платити 5 доларів на місяць, щоб зробити свій аналіз приватним.
Однією з хмарних обчислювальних платформ, яку я можу порекомендувати, є Backbone, яка забезпечує безпечну платформу хмарних обчислень, що підвищує продуктивність .