Кілька серверів, які діють як єдиний із усім обладнанням? [зачинено]

на даний момент у мене є 10 серверів для hpc, орієнтованих на енергетичні обчислення. Моїм користувачам потрібно запустити кілька процесів за допомогою qmake. Користувачі використовують для роботи з ubuntu 9.10, а програмне забезпечення із сховищ для них доступне.

Я розгорнув ubuntu 9.10 на всіх 10 серверах (pxe-скелі).

На даний момент ми працюємо з паралельно-ssh і cluster-ssh, що дозволяє запускати один і той же процес на всіх серверах. За допомогою цього інструменту сервери залишаються незалежними, але з тим самим програмним забезпеченням і тією ж запущеною командою.

Тепер ми хотіли б перейти до наступного кроку і побачити всі сервери як єдиний з усіма ресурсами з інших 9 так, ніби це були його ресурси.

Різниця була б істотною в часі на обробку, а також час на розробку команди для запуску.

Будь-які поради щодо використання програмного забезпечення будуть дуже корисними?

Спасибі

Те, про що ви говорите, називається єдиним зображенням системи (SSI) . Найпоширеніший варіант цієї схеми для Linux реалізований MOSIX . Хоча це дає певні переваги в плані управління системою, загалом процеси не можуть охоплювати декілька вузлів, не використовуючи якусь форму MPI . По суті, використовуєте ви чи ні "стандартний" кластер, що працює на gridengine, або формуєте ваші системи в одне зображення, вам все одно потрібно буде модифікувати все програмне забезпечення, щоб мати змогу охопити кілька вузлів.

Кластер не є єдиним продуктивним механізмом, локальність fs / пам'яті важлива для продуктивності.

Робота на рівні додатків, хоча і менш загальна, є більш економічною. Ваш приклад qmake може бути значно прискорений, встановивши distcc.

наприкінці я використовував Sun Grid Engine.

Я документував у приватній вікі, а також вирізав і вставляв у свій блог. Я думаю, що це може бути корисним навіть без перекладу. ;)

Запис у блозі: http://suportrecerca.barcelonamedia.org/blog/?p=240

Якщо хтось хоче вікі-код, просто запитайте його тут.

Спасибі.

Я ніколи раніше не реалізовував цього, але це здається, що кластер beowulf би працював на те, що ви намагаєтеся зробити. Я багато читав про це в минулому, і для деяких більш простих процесів може бути мало необхідного перекодування, залежно від того, що ви намагаєтеся досягти.