Коли побудувати кластер у хмарі дешевше, ніж побудувати його в моїй лабораторії для моделювання MD?

Обчислювальний кластер Amazon EC2 коштує приблизно від 800 до 1000 доларів (залежно від робочого циклу) на фізичне ядро ​​процесора протягом 3 років. Під час нашого останнього раунду з придбання обладнання моя лабораторія зібрала обладнання з 48 ядер, що дуже схоже на кластери Amazon, приблизно за $ 300 доларів.

Я чогось тут пропускаю? Чи є ситуації, в яких є економічним сенсом будувати кластер у хмарі для завдань з високим процесором, таких як моделювання молекулярної динаміки? Або мені завжди краще просто будувати та нести дитину машину для дачі?

(Я мушу зазначити, що моя лабораторія не платить за електроенергію в нашому серверному залі (принаймні не безпосередньо), але навіть з цією вигодою Amazon все ще здається надзвичайно дорогим).

На мою думку, головна перевага використання хмарних ресурсів - це гнучкість, тобто якщо у вас коливання робочого навантаження, ви платите лише за те, що вам потрібно.

Якщо це не так у вашій заявці, тобто ви знаєте, що у вас буде кількісно виміряна і постійна навантаження, ви, ймовірно, краще будуєте свій власний кластер. У Хмарі ви платите за гнучкість, і якщо вам не потрібна гнучкість, ви платите за те, що вам не потрібно.

Якщо ваше навантаження гнучка, але дещо інтенсивна і покладається на певні функції обладнання (див. Відповідь аеісмаїли), ви можете спробувати поділитися кластером з іншими людьми у вашому університеті, щоб амортизувати цикли простою. У моєму старому університеті працює такий спільний кластер із "Моделью акціонерів", в якій кожній групі гарантується частка обчислювальної потужності, пропорційна їхнім вкладенням у апаратний та простой цикл, може використовувати будь-хто. Єдина складність полягає в централізації управління кластером.

Є деякі речі, про які слід турбуватися, коли ви робите хмарні обчислення з моделюванням MD. Наприклад, вам потрібно потурбуватися про фізичне розташування процесорів у фермі серверів, де ці завдання будуть виконуватись. Причина полягає в тому, що, залежно від розміру моделювання та виду обчислень, які ви виконуєте (наприклад, системи з електростатикою), ви можете сильно залежати від FFT - і підштовхувати електрони до різних процесорів у гігантському кластері може стати дуже трудомісткою частиною загального обчислювального часу.

Крім того, для даних, таких як об'єм даних, як MD, ви хочете переконатися, що у вас є швидке завантаження та завантаження з'єднань із серверами, а також розумні обмеження на зберігання даних. В іншому випадку велика економія коштів може витягнути втрату продуктивності та плату за зберігання.

Наскільки це варте, наш інститут щойно придбав близько 240 ядер для нашого локального кластера за ціною менше 500 євро на ядро. Ця вартість включає хостинг та адміністрування, а також обслуговування, на нашому кампусі протягом чотирьох років. Щорічно, що здається смішно дешевим. Я думаю, що це, мабуть, найкраще з обох світів - місцевий доступ, але професійно підтримується, не потребуючи власної ІТ-команди.

У мене немає досвіду роботи з хмарними сервісами, такими як EC2 Amazon, але фактична вартість одного ядра, ймовірно, набагато більша, ніж ви цитуєте: це вартість початкової покупки, електроенергії, охолодження, місця в будівлі, обладнання для заміни. Плюс вартість адміністрування: налаштування ОС та кластерних служб, постійне оновлення ОС, усунення несправностей у черзі тощо. Я б не здивувався, якщо сума всього цього вдвічі перевищує вартість первинної покупки. Звичайно, ви отримуєте гнучкість.

Як на мене, модель зводиться до масштабу: Якщо у вас справді великий кластер (1000 ядер і більше), ви можете амортизувати робочий час, ремонт, системне адміністрування, оскільки цього достатньо зробити, щоб професіонал зайнявся. Якщо у вас є невеликий кластер, де не варто, аби спеціальна людина займалася цим, то, ймовірно, ви змусите когось зробити це, першою роботою якого слід займатися наукою, і в такому випадку час цієї людини погано витрачається на такі адміністративні роботи. Саме тут світяться послуги на вимогу, такі як хмарні сервери.

Як додаток до деяких вже чудових відповідей, слід врахувати ще один фактор:

• Незалежно від витрат, як ви збираєтесь їх оплатити?

Я стикався з нетривіальною кількістю грантів, які ні за яких обставин не платять за апаратні витрати, але платять за обчислення часу на щось на зразок EC2. Тож, за певних обставин фінансування, хоча ви, можливо, зможете фінансувати невеликий кластер "випробуваного" кластера з неструктурованими коштами або пакетом запуску лабораторії, для масштабних проектів це може бути єдиним способом фінансування ваших витрат на обчислення.

Розглянемо NIH:

ADP / Комп'ютерні послуги: Служби, які ви включаєте сюди, повинні бути специфічними комп'ютерними послугами, наприклад, резервування обчислювального часу на суперкомп'ютерах або отримання спеціалізованого програмного забезпечення, яке допоможе вести статистику. Цей розділ не повинен включати ваш стандартний настільний офісний комп'ютер, ноутбук або стандартну технічну підтримку, що надається вашою установою. Ці види зборів повинні виходити з витрат на збитки та збитки.

Хоча можна поставити кластерні машини під заголовок $ 5000 + обладнання, і ви можете зробити хороший аргумент для цього, я знайшов як рецензентів, які хитрі до цього, так і університети, які вагаються з приводу поточних витрат на утримання такого система.

Деякі гранти ще суворіші. Один грант, який я наразі маю, звучить так:

Кошти також не можуть використовуватися для комп'ютерного обладнання

Часто просто простіше отримати кластер, який оплачується прямими витратами, якщо його базується на EC2 або один із його багатьох аналогів, ніж фактично купувати обладнання, особливо якщо ваша установа загрожує непрямими витратами. Це може бути не для вас, але це стосується деяких.

Відповідей бога вже багато. Я просто хочу додати дві невеликі бали.

1.) Я знаю, що IBM пропонує щось подібне. Отже, залежно від вашої заявки, можливо, варто порівнювати різні пропозиції. Не тільки щодо вартості, але й обладнання.

2.) Звичайно, більшість лабораторій занадто малі, щоб мати можливість інвестувати у власний кластер. Таким чином, питання полягає в тому, чи неможливо зібрати кілька лабораторій разом та інвестувати в кластер, який розділяється між різними лабораторіями. Це має, крім очевидного ефекту розподілу витрат, також перевагу більш рівномірного розподілу навантаження.