Найкращий вибір файлової системи для NFS, що зберігає зображення диска VMware


11

В даний час ми використовуємо iSCSI SAN як сховище для декількох серверів VMware ESXi. Я досліджую використання цілі NFS на сервері Linux для додаткових віртуальних машин. Я також відкритий до ідеї використання альтернативної операційної системи (наприклад, OpenSolaris), якщо вона забезпечить значні переваги.

Яка файлова система на базі Linux надає перевагу дуже великим суміжним файлам (наприклад, образам дисків VMware)? Як же люди знайшли ZFS на OpenSolaris для такого навантаження?

( Спочатку це питання було задано на SuperUser ; сміливо переносьте відповіді сюди, якщо знаєте, як).

Відповіді:


13

Я дійсно рекомендую вам поглянути на ZFS, але для отримання гідної продуктивності вам знадобиться забрати спеціальний пристрій як журнал намірів ZFS (ZIL). В основному це невеликий пристрій (кілька Гб), який може записувати надзвичайно швидко (20-100 К IOPS), що дозволяє ZFS негайно підтвердити, що записи синхронізовано в сховище, але чекати до 30 секунд, щоб насправді записати записи на жорсткі диски в ваш басейн. У разі аварії / відключення будь-яка незавершена транзакція в ZIL відтворюється після монтажу. Як результат, на додаток до ДБЖ, вам може знадобитися накопичувач із внутрішнім джерелом живлення / суперконденсатором, щоб будь-які очікувані виводи вводили його в постійне зберігання у разі втрати електроенергії. Якщо ви не вирішите виділити спеціальний пристрій ZIL, програма запису може мати високу затримку, що призводить до різного роду проблем. Якщо припустити, що вас не цікавить Sun

  • DDRDrive X1 - 4 Гб DDR2 + 4 ГБ SLC флеш-пам'яті на картці PCIe x1, призначеної явно для використання на ZIL. Записи йдуть в ОЗУ; у разі втрати електроенергії, він синхронізує оперативну пам’ять з NAND в <60 сек, що працює від суперконденсатора. (IOPS 50k-300k; прямий $ 2000, $ 1500 за .edu)
  • Intel X25-E 32 Гб 2,5 дюймовий SSD (SLC, але без супер-кришки, 3300 запису IOPS); [$ 390 @ Амазонка] [11]
  • OCZ Vertex 2 Pro 40 Гб 2,5-дюймовий SSD (суперкап, але MLC, 20k-50k запису IOPS); $ 435 @ Амазонка .

Після встановлення OpenSolaris / Nexenta + ZFS існує досить багато способів переміщення блоків між вашим OpenSolaris та ESX boxen; що для вас сильно залежить від існуючої інфраструктури (комутатори L3, волоконні карти) та ваших пріоритетів (надмірність, затримка, швидкість, вартість). Але оскільки для розблокування функцій iSCSI / FC / NFS вам не потрібні спеціалізовані ліцензії, ви можете оцінити все, що у вас є, і виберіть улюблене:

  • Цілі iSCSI (накладні витрати процесора; відсутність підтримки TOE у OpenSolaris)
  • Цілі волоконних каналів (волоконно-карткові картки не дешеві)
  • NFS (VMWare + NFS може бути вибагливим, обмежено 32 кріпленнями)

Якщо ви не можете витратити 500 доларів на оцінку, протестуйте з і без відключення ZIL, щоб перевірити, чи є ZIL вузьким місцем. (Мабуть, так і є). Не робіть цього на виробництві . Не бідайте з дедуплікацією ZFS поки що, якщо у вас також є багато оперативної пам’яті та SSD для L2ARC. Це, безумовно, приємно, як тільки ви налаштуєте його, але ви обов'язково намагаєтеся виконати налаштування NFS, перш ніж грати з дедуппірованіе. Як тільки ви отримаєте, насичуючи 1-2 Gb посилання, з'являються можливості зростання у 8gb FC, 10gigE та infiniband, але кожен потребує значних інвестицій навіть для оцінки.


2

Я б не робив саме цього. На мій досвід, Linux (зокрема CentOS 3/4/5) - це загалом поганий вибір для сервера NFS. У мене було декілька, і я виявив, що при навантаженні, затримці та пропускній здатності, як правило, знижуються з тих причин, що ми ніколи не зможемо обробити голову.

У наших випадках ми порівнювали продуктивність Linux "назад" до "Solaris" (на Ultra-SPARC) та NetApp; і те, і інше повернуло результати з точки зору продуктивності від яблук до яблук і з невиразним принципом "інженери не скаржилися майже на стільки затримок, коли сервер був під навантаженням". Було кілька спроб налаштування Linux NFS-сервера; і системи NetApps, і Solaris вибігали з коробки. Оскільки обидві системи Solaris та NetApp були старшими, можна було б стверджувати, що сервери Linux мали всі переваги і все ж не переконливі.

Якщо у вас є час, варто заздалегідь експериментувати, щоб налаштувати одне і те ж обладнання з OpenSolaris (тепер, коли Solaris фактично занадто дорогий у використанні), Linux та, можливо, варіант BSD або два, і передати їх. Якщо ви можете придумати якісь показники продуктивності (наприклад, підрахунок дискових вводу-виводу у VM, розміщеному поза магазином), це може стати цікавою білою книгою або статтею в Інтернеті. (Якщо у вас є час.)

Що стосується NFS в цілому, люди NetApp мені кілька разів говорили, що їхні орієнтири показували, що NFS має лише 5 - 10% продуктивності для VM - і якщо ваша програма була достатньо чутливою, що це проблема, ви не повинні віртуолізувати. це в першу чергу.

Але я мушу зізнатися, що після того часу і сліз наші магазини VM немісцевого виробництва подаються iSCSI, здебільшого з NetApp.


Я думаю, що це NetApp, який розпочався з NFS, потім пізніше підключив підтримку iSCSI, отже, їх продукти завжди бачать ефективність NFS у найкращому випадку проти iSCSI ... Хоча ви можете уникати NFS - Ви можете використовувати iSCSI на Linux, і це кращий вибір ІМО.
Кріс Торп

2

Ми використовуємо OpenSolaris 2009/06 з конфігурацією RAID 10 ZFS для надання NFS нашому серверу VMWare ESXi. Це працює досить добре для наших потреб. Ми використовуємо накопичувачі типу SATA Raid (приводи Seagate ES.2 1 ТБ). Однак у нас ще є деяка настройка.


2

Я великий фанат NFS-сховищ даних для VMware, NetApp має чудову реалізацію.

TR-3808 порівнює масштабування NetApp FC, iSCSI та NFS, пов'язаних спільними сховищами даних, що є відмінним зчитуванням.


-2

Ви можете розглянути помилку 3+ років із ZFS ARC, яка все ще зберігається, перш ніж стрибнути в занадто глибокий з ZFS ...

http://bugs.opensolaris.org/bugdatabase/view_bug.do?bug_id=6522017

(Це противно, оскільки воно також вийде за межі VM-меж гіпервізора!)


Ви скопіювали / вставили цей самий "відповідь" на щонайменше два різні питання, пов'язані з Nexenta. Хоча це серйозна помилка, людина натрапила на неї лише за дуже рідкісних обставин. Як такі, ваші дії здаються трохи надмірними. Переваги використання ZFS набагато перевищують дуже малий шанс, що ви потрапите в цю помилку.
EEAA

Гаразд, зробіть ті 8 окремих запитань, на які ви вставили цю саму відповідь.
EEAA

Вони пов'язані, але це ваша думка. Я погоджуюся з перевагами, але вплив цього видатного / постійного помилки є значним, оскільки він призведе до зупинки всієї ОС - ніяких переваг тоді, коли ви не зможете надійно отримати доступ до збережених даних.
user48838

Для людей, які справді хочуть оцінити це справедливо для загальної корисності цього форуму / формату, будь ласка, ознайомтеся з коментарем до наступного: serverfault.com/questions/162693/…
user48838

Еріка НЕ ​​буде ідентифікувати свою установку ZFS, тому зауваження, зроблені цією особою щодо ситуації, виявленої у згаданому питанні, що виникає при "дуже рідкісних обставинах", не можуть бути обґрунтовані цією особою ... Вибір ігнорувати запити на виявлення Основа їх заяви / позиції також є на цих коментарях.
user48838
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.