Чи великий масив RAID-Z такий же поганий, як і великий масив RAID-5?


11

Тривалий час я чув про те, наскільки погана ідея великого масиву RAID-5 (> 5 ТБ?) Просто тому, що високий ризик виходу з ладу іншого диска.

Чи вдалося RAID-Z1 виправити це для масиву будь-якого розміру (якщо вам абсолютно потрібне число, розгляньте 4x2TB або 5x2TB)? Може бути більш безпечним способом повторного копіювання даних, який не є таким інтенсивним на всіх накопичувачах?

Відповіді:


8

Навіть з огляду на те, що тут викладено один з інших відповідей, а саме те, що ZFS працює лише з фактично використаними блоками, а не з порожнім простором, так, все-таки зробити небезпечний великий RAIDZ1 vdev все ще небезпечно. Більшість басейнів складають щонайменше 30-50% використаних, багато з них доходять до рекомендованого максимуму 80% (деякі проходять повз нього, настійно рекомендую не робити цього взагалі з міркувань продуктивності), так що ZFS займається лише з використаними блоками не величезний виграш. Крім того, деякі інші відповіді звучать як погане читання - це те, що викликає проблему. Це не так. Трохи загниває всередині блоку - це не те, що вас тут накрутить, як правило, це інший диск, який просто вийшов з ладу, поки перезапуск з першого диска буде поганий, що все ще відбувається, що вб'є вас .. і на 3 ТБ дисках у великому рейді1 це може зайняти дні, навіть тижні щоб перезавантажити новий диск, тому ваш шанс на це не є незначним.

Моя особиста рекомендація клієнтам - ніколи не використовувати RAIDZ1 (еквівалент RAID5) взагалі з дисками> 750 Гб, ніколи, просто щоб уникнути багато потенційних неприємностей. У мене все в порядку, коли вони порушують це правило з інших причин (у системі є резервна копія десь в іншому місці, дані не так важливі тощо), але, як правило, я намагаюся зробити RAIDZ2 як мінімальний варіант з великим диски.

Також з ряду причин, як правило, рекомендую не збирати більше 8-12 дисків у смузі raidz2 або 11-15 дисків у смужці raidz3. Ви повинні знаходитись в нижньому кінці цих діапазонів з 3 ТБ дисками, і, можливо, може бути гаразд на високому рівні цих діапазонів на 1 ТБ дисках. Те, що це допоможе утримати подалі від думки про те, що більше дисків вийде з ладу під час відновлення, - це лише одна з цих причин, але велика.

Якщо ви шукаєте якісь здорові правила великого пальця (редагувати 10.04.2015 - я написав ці правила, маючи на увазі лише спінінг-диски - тому що вони також логічні [чому б ви робили менше 3-х дисків в raidz1] вони є певний сенс навіть для пулів SSD, але пули з усіма SSD не були мені в голові, коли я це писав):

  • Не використовуйте raidz1 взагалі на дисках> 750 Гб.
  • Не використовуйте менше, ніж 3 або більше 7 дисків на raidz1.
  • Якщо ви думаєте про використання 3-дискового raidz1 vdevs, серйозно подумайте натомість 3-х дзеркальних дзеркальних vdevs.
  • Не використовуйте на raidz2 менше 6 або більше 12 дисків.
  • Не використовуйте менше 7 або більше 15 дисків на raidz3.
  • Завжди пам'ятайте, що на відміну від традиційних масивів RAID, де # дисків збільшує IOPS, у ZFS це # VDEVS, тому перехід з коротшою смугою vdevs покращує потенціал IOPS у пулі.

Зі зміною розмірів дисків та характеристик ви б все-таки рекомендували те саме правило? (2014)
Лорд Лох.

Будь-яке джерело чи мотивація для правил великого пальця?
Кенні Евітт

Джерелом є досвід мене та колег протягом 1000-х років розгортання ZFS у Nexenta. Що стосується оновлення - правила стоять (04.10.2015), нічого не змінилося, що змушує мене редагувати точки кулі, хоча я б сказав, що написав ці правила, не маючи на увазі SSD. Правила не обов'язково однакові для SSD, залежно від обставинних факторів. З ними у вас є і деякі інші міркування, як, наприклад, вузькі місця HBA.
Nex7

1
@ Nex7, яка логіка цього у вашій статті блогу? "8. RAIDZ - Підрахунок парних / непарних дисків: Намагайтеся (і не дуже важко) зберегти кількість дисків даних у рейді vdev до парного числа"
Costin Gușă

Важливо пам’ятати випадки використання. Тут на сервері за замовчуванням ми зосереджуємось на професійних / ділових додатках, тому відповідь правильна. Тим не менш, для тих, хто робить інсталяції для споживачів (а можливо, навіть обмежені бізнес-програми?), Подумайте, як погано було б втратити один блок з одного файлу (можливо, пари) зі свого масиву, якщо у вас виникнуть збої під час відновити. Немає нічого? Тоді RAIDZ1 може бути добре.
Дан Прітц

11

Чи RAID-Z такий поганий, як R5, ні. Це так добре, як R1 або R10, зазвичай ні.

RAID-Z знає про порожні плями на дисках, де R5 немає. Тож RAID-Z має лише зчитувати області з даними для відновлення відсутнього диска. Крім того, дані не обов'язково смугаться на всіх дисках. Дуже невеликий файл може міститись лише на одному диску, з паритетом на іншому диску. Через це RAID-5 доведеться зчитувати стільки ж даних, скільки простір, який використовується в масиві (якщо на масиві 5 ТБ використовується 1 Мб, то для відновлення потрібно читати лише 1 мб).

Якщо піти іншим шляхом, якщо більша частина великого масиву заповнена, більшість даних потрібно буде зчитувати з усіх дисків. Порівняно з R1 або R10, коли дані потрібно витягнути лише з одного диска (на невдалий диск; якщо декілька дисків виходять з ладу лише в ситуаціях, коли масив все ще відновлюється).

Що вас хвилює, це той факт, що з кожною операцією зчитування сектора є шанс виявити сектор, який написаний невірно або більше не читабельний. Для типового накопичувача в ці дні це близько 1х10 ^ -16 (не всі диски рівні, тому знайдіть характеристики на ваших накопичувачах, щоб визначити їх рейтинг). Це неймовірно нечасто, але виходить приблизно раз на 1PB; для масиву 10 ТБ є 1% шансів намовити масив, і ви цього не знаєте, поки не спробуєте відновити його.

ZFS також допомагає зменшити цей шанс, оскільки більшість нечитабельних секторів помітні ще до того, як ви почнете намагатися відновити масив. Якщо ви регулярно очищаєте свій масив ZFS, операція скрабування буде збирати ці помилки і обходити їх (або попереджати вас, щоб ви могли замінити диск, якщо саме так прокатуєте). Вони рекомендують прочищати фірмові диски приблизно від одного до чотирьох разів на місяць; і споживчі диски принаймні один раз на тиждень або більше.


3

Деякі переваги RAID-Z перед традиційними RAID-5 полягають у тому, що він не вимагає спеціалізованого обладнання та є більш надійним, уникаючи отвору для запису RAID-5.

Однак і RAID-Z, і RAID-5 не мають більше одного збою диска.

Якщо ви хочете вижити збою двох дисків із ZFS, ви можете скористатися RAIDZ2 та трьома дисками RAIDZ3 .


1
+1 Також контрольні суми perblock дозволяють ZFS, якщо він знайде пошкодження в масиві, виділити файли, які стосуються. Більшість HBA R5 просто позначать весь об'єм як пошкоджений або повідомлять назад в ОС про те, що сектор пошкоджений, в будь-якому випадку HBA не може знати, який диск неправильний у корупційному сценарії.
Кріс С

Більше обговорення питання щодо відмови ZFS щодо відмови від перенапруги: нескінченний перепрофілювання ZFS
CVn
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.