Побудова домашнього кластеру - аналіз апаратних засобів та витрат [закрито]

Хто - небудь знає деякі посилання / книги / всі , що ви можете думати, що описати процес створення невеликої домашньої кластера (коли я говорю , будинок , це не обов'язково означає , що для збереження у себе вдома - просто означає , що це відносно дешевий і маленький) для експериментальні цілі з особливим акцентом на те, яке обладнання сьогодні було б адекватним, і якийсь аналіз витрат?

Хоча, якщо хтось тут це зробив, я би вдячний за весь досвід, яким ви можете поділитися.

Хелмер приходить на думку. :)

У день Hack A було представлено кілька кластерів Ikea:

• 24 ядра
• Гельмер

Ознайомтеся з книгами кластерних обчислень Beowulf Томаса Стерлінга (одна для Linux та одна для Windows). Вони розповідають вам все, що вам потрібно знати про використання MPI, щоб змусити вузли спілкуватися один з одним.

Друг та я побудували кластер з 8 ящиків, використовуючи дійсно хитру техніку та запустили Windows XP. Це були схожі на Pentium I - 90 МГц. Набагато нижче специфікацій, необхідних для Windows, але це нормально. Ми також запустили на них SQL Server 2000 (також значно нижче рекомендованих специфікацій) і зробили кілька моделей чорних шкіл, що моделювали ціни на акції.

Важко порекомендувати, яке обладнання буде адекватним, не знаючи, що ви хочете зробити зі своїм кластером. Але суть полягає в тому, що ви можете створити кластер із майже нічого.

Альтернативою наявності багатьох вузлів фізичних кластерів є створення віртуальних машин. У вас було б лише одна-дві фактичні фізичні машини, але ви могли б імітувати наявність ще багатьох вузлів. Це було б добре для створення, навчання та використання менших ресурсів (простір, потужність, $$$).

Це не дасть вам великого аналізу вартості, але ви почнете це починати. Тип налаштування кластера залежатиме від типу роботи, яку ви хочете створити для нього. Можна безліч маленьких вузлів або лише кілька потужних вузлів. Існують також спільні та не спільні середовища пам'яті. Який тип паралельних програм ви хочете створити? Чим більше у вас фізичних вузлів, тим більше місця, потужності, охолодження та взаємозв'язку мережі потрібно враховувати. Іноді просто один великий масивний комп’ютер - це дорога (і спільне середовище пам'яті легше програмувати для IMHO).

Нещодавно я почав грати зі складанням кластеру декількох випадкових скриньок P4, ubuntu та LAM-MPI. Це, безумовно, був досвід навчання.

Це було насправді пару ноутбуків та башти p4, просто зібраних у гаражі. Це було гетто, але я просто хотів вчитися. Я щойно використав Ethernet мережею 100 Мбіт / с. Я вибрав ubuntu, тому що не хотів мати справу з багато апаратною конфігурацією коробки. У Ubuntu було багато потрібних мені драйверів. Мені знадобилося середовище Linux, оскільки програми, про які я писав для нього, були додатками на основі С із MPI-інтерфейсами. Я намагався повторити те, що раніше використовував. Це все було різне. обладнання, нічого стандартного. У більшості кластерів є точне обладнання, так що ви можете додавати та видаляти вузли одразу.

Залежно від того, що ви намагаєтеся зробити, подумайте про розробку вашої системи на кластері віртуальних машин. Використання рішення для віртуалізації ОС на зразок OpenVZ або Virtuozzo або Solaris контейнерів Паралеля дозволить вам масштабувати до величезної щільності порівняно з повною віртуалізацією системи (наприклад, VirtualBox / VirtualPC / Xen / VMWare). Тоді, коли вам потрібно буде розгорнути систему для певної продуктивності, запустіть її "в хмарі" на Amazon EC2 або подібній.

Я б почав, переглянувши проекти LittleFE ( http://littlefe.net/ ) або CD Bootable Cluster CD ( http://bccd.net/ ). Також див. Хмарний проект Ubuntu ( http://www.ubuntu.com/cloud ).

Більш-менш будь-яке обладнання повинно працювати. Я схильний би розглянути якусь форму закритої угоди або машини, що виходять в оренду, щоб забрати якесь дешеве обладнання.

Погляньте на Rocks, який є розподілом кластерів, що робить побудову кластеру справді простою. Він також масштабує щонайменше до кількох забитих вузлів.