Запуск 100 віртуальних машин на одному хост-сервері VMWare

Я використовую VMWare багато років, запускаю десятки виробничих серверів з дуже малою кількістю випусків. Але я ніколи не намагався розмістити більше 20 ВМ на одному фізичному хості. Ось ідея:

1. Знята версія Windows XP може жити з 512 Мб оперативної пам’яті та 4 Гб дискового простору.
2. 5000 доларів отримує 8-ядерний серверний клас із 64 ГБ оперативної пам’яті та чотирма дзеркалами SAS.
3. Оскільки 100 вищезгаданих віртуальних машин вміщуються на цей сервер, вартість мого обладнання становить лише 50 доларів за VM, що дуже приємно (дешевше, ніж оренда візменів у GoDaddy або будь-яких інших магазинах хостингу).

Я хотів би дізнатися, чи хтось може досягти подібного масштабування за допомогою VMWare? Я зробив кілька тестів і натрапив на дивну проблему. Після запуску 20 ВМ продуктивність VM починає різко знижуватися. У той же час хост-сервер не показує жодних вузьких місць ресурсів (диски становлять 99% в режимі очікування, кількість процесорних процесів - менше 15% і є достатня кількість вільної оперативної пам’яті).

Я буду вдячний, якщо ви можете поділитися своїми історіями успіху навколо масштабування VMWare або будь-якої іншої технології віртуалізації!

Так, ти можеш. Навіть для деяких робочих навантажень Windows 2003 достатньо 384MiB, тож 512MiB - досить гарна оцінка, будь то трохи висока. Оперативна пам’ять не повинна бути проблемою, а також процесором.

А 100 ВМ трохи крутіше, але це можливо, особливо якщо вітрини не будуть дуже зайняті. Ми легко запускаємо 60 серверів (Windows 2003 та RHEL) на одному сервері ESX.

Припускаючи, що ви говорите про VMware ESX, ви також повинні знати, що здатна перезавантажувати пам'ять. Відеомагнітофони навряд чи використовують повний призначений об'єм пам’яті, тому ESX може привласнити більше, ніж наявний об’єм оперативної пам’яті, для VM та запустити більше VM, ніж фактично «офіційно» має оперативна пам’ять.

Швидше за все, вашим пляшком буде не процесор чи оперативна пам’ять, а IO. VMware може похвалитися величезною кількістю IOPS у своєму маркетингу, але коли наштовхнеться на поштовх, конфлікти резервування SCSI та обмежена пропускна здатність зупинять вас на мертвому шляху, перш ніж ви наблизитесь до вихвалянь IOPS VMware.

У всякому разі, ми не відчуваємо погіршення продуктивності 20 ВМ. Яку версію ESX ви використовуєте?

Однією з головних проблем із таким середовищем, як таке, є запобігання катастрофам та захист даних. Якщо сервер гине, то з ним гинуть 100 ВМ.

Вам потрібно спланувати якесь відмовлення від віртуальних машин, а також запланувати якесь управління "поза VM", яке захистить ваші VM у разі відмови. Звичайно, такий вид надмірності означає збільшення витрат - тому, ймовірно, багато разів така сума витрат не затверджується до тих пір, поки її переваги не будуть помічені на практиці (через її відсутність).

Пам'ятайте також, що хост VM - це лише одна з декількох одиничних точок відмов:

• Мережа - що робити, якщо мережева карта VM ходу вийде з ладу?
• Пам'ять - що робити, якщо шматок пам’яті хостингу VM поганий?
• CPU - якщо ядро ​​CPU гине, то що відбувається з віртуальними машинами?
• Харчування - чи є лише один - або два - силові кабелі?
• Порт управління - припустимо, ви не можете потрапити до управління хостом VM?

Цього лише декілька: масивна інфраструктура ВМ вимагає ретельної уваги до запобігання втраті даних та запобіганню втрати ВМ.

Жодної заяви про життєздатність цього у виробництві немає, але є дуже цікава демонстрація NetApp, де вони забезпечують 5440 XP настільних комп'ютерів на 32 хостах ESX (це 170 на хост) за 30 хвилин, використовуючи дуже мало дискового простору через дедуплікацію проти загального VM образи

http://www.youtube.com/watch?v=ekoiJX8ye38

Думаю, ваші обмеження надходять із дискової підсистеми. Ви, здається, відповідно обліку пам'яті та використання процесора.

Ніколи цього не робив - але я обіцяю, що ви витратите набагато більше, ніж на зберігання, щоб отримати достатню кількість ІОП, щоб підтримати стільки віртуальних машин, ніж на серверне обладнання. Вам знадобиться багато ВПО, якщо всі 100 з них активні одночасно. Це не звучить негативно, але ви також вважали, що ви кладете багато яєць в один кошик (це здається, що ви шукаєте рішення для одного сервера?)

Мене найбільше турбує суперечність процесора зі 100 ВМ на одному хості. Ви повинні пам’ятати, що процесор НЕ віртуалізований, тому кожній машині доведеться чекати доступу до процесора. Ви можете почати бачити суперечки, подивившись на ESXTOP, що мені сказали що-небудь понад 5 у полі% RDY, дуже погано інженерами VMWare.

В моєму досвіді я бачив близько 30 - 40 серверів, що працюють на одному хості (не надто багато).

У мене було 10 хостів на VMWare Server 1.0.6 (під Windows 2003), і він регулярно стикався з проблемами вводу-виводу (і якщо нічні побудови колись перекриваються чимось іншим, то у них виникнуть проблеми). Після оновлення з Windows до ESXi U3 ми виявили, що наші проблеми з продуктивністю відійшли (нічні версії вже не виходили з ладу).

Також зауважте, що, хоча SSD мають набагато більшу швидкість вводу-виводу, ніж спінінг-носії, є деякі випадки, коли це не дотримується, наприклад, певні типи шаблонів запису (багато дрібних записів, розкиданих по диску, знищать продуктивність, якщо контролер не має кеш-буфер кешування інтелектуального запису, який добре справляється з розсіяними записами).

Я рекомендую дослідити / тестувати наявність SWAP-файлів на різних дисках, якщо у вас виникли проблеми.

Якщо ви збираєтеся це робити, то я настійно закликаю вас використовувати нові процесори серії Intel Nehalem 'Xeon 55xx серії - вони розроблені для роботи з VM, а їх додаткова пропускна здатність пам’яті також дуже допоможе. О, і якщо ви можете використовувати більше, менші диски, ніж кілька, великі - це дуже допоможе. Якщо ви також можете використовувати ESX v4 понад 3.5U4.

У мене 20-ти XP-операційних машин, що працюють із 512M оперативної пам’яті, кожен на машині з 16G оперативної пам’яті. Менше цього вони поміняються на диск, що дає вузьке місце. Це завжди активні віртуальні системи XP.

VMware та його функція OverCommit повинні дозволити вам більше натиснути на кожну машину XP. Подібна машина поділиться однаковими сторінками, щоб зменшити запис на диску. Це те, що я хотів би розглянути для нашого налаштування, щоб спробувати додати більше машин, оскільки наші віртуальні машини XP роблять 10-20 Мг постійного дискового трафіку.

Нам не вдалося досягти 100 задоволених гостей на сервері VMWare, але потім виявили, що ESXi робить набагато кращу роботу. Отже, виявляється, що 100 XP vms не є проблемою, якщо ви використовуєте ESXi та гідний сервер (кілька дискових дзеркал для розповсюдження вводу / виводу, пару мікросхем I7 та 64 ГБ оперативної пам’яті). Для кінцевих користувачів немає видимої затримки, а хост-ресурси не видаляються (найгарячіший - це центральний процесор, але, як правило, принаймні 70% простоює).

PS. Це питання було опубліковано мною ще тоді, коли ми боролися з сервером VMWare.

Востаннє я перевіряв, VMware рекомендує не більше 4 ВМ на оброблювальний ядро ​​для ESX, припускаючи одне vCPU на VM.

Це говорить про те, що накладні витрати на управління стають фактором.

Мені дуже цікаво побачити, чи можна реально досягти 4-кратного коефіцієнта на 8-ядерній коробці.