Чи краще застосовувати RAID-диски індивідуально проти оптом?

Це може здатися дивним питанням, але це викликає бурхливу дискусію з деякими моїми колегами. Розглянемо масив RAID середнього розміру, який складається з восьми або дванадцяти дисків. Купуючи початкову партію дисків або купуючи замінники для збільшення масиву або оновлення обладнання, можна скористатися двома широкими підходами:

1. Купіть усі диски в одному порядку від одного постачальника та отримайте одну велику коробку, що містить усі диски.
2. Замовте одну дискову штуку у різних постачальників та / або розкладіть (протягом періоду днів або тижнів) кілька замовлень на один диск за штуку.

Очевидно, є якась середина, але це основні протилежні думки. Мені було по-справжньому цікаво, який підхід є більш розумним з точки зору зниження ризику катастрофічного виходу з ладу масиву. (Давайте визначимо, що як "25% дисків виходять з ладу протягом часового вікна, рівного тому, скільки часу потрібно для повторного відновлення масиву." основні дефекти, які чекають удару. Та сама тимчасова бомба з тим самим початковим відліком годинника, якщо ви хочете.

Я зібрав пару найпоширеніших плюсів і мінусів для кожного підходу, але деякі з них відчувають, як гіпотеза та інстинкт кишки замість твердих даних, заснованих на доказах.

Купуйте все відразу, плюси

• Менше часу, витраченого на етап дослідження / замовлення.
• Мінімізує вартість доставки, якщо постачальник платить за неї.
• Гарантовано, що диски мають однакову версію мікропрограмного забезпечення та ті ж «химерності» за своїми експлуатаційними характеристиками (температура, вібрація тощо)
• Зростання цін / дефіцит акцій навряд чи зупинить проект на середині.
• Кожен наступний диск знаходиться під рукою в той момент, коли його потрібно встановити.
• Серійні номери всі відомі заздалегідь, диски можуть бути встановлені у корпусі в порядку збільшення серійного номера. Здається, це дуже суєтно, але деякі люди, здається, це цінують. (Я думаю, що їх інтерфейс управління сортує диски за серійним номером замість замовлення порту обладнання ...?)

Купуйте все відразу, мінуси

• Всі диски (ймовірно) були з одного і того ж заводу, виготовлені в той же час, з тих же матеріалів. Вони зберігалися в одних і тих же середовищах і підлягали тим же потенційним зловживанням під час транзиту. Будь-який дефект або пошкодження, присутні в одному, ймовірно, є у всіх.
• Якщо диски замінюються одночасно в існуючий масив, і кожен новий диск потрібно переставляти окремо, можливо, це може за тиждень до встановлення останнього диска з замовлення та виявлення його несправним. Вікно повернення / заміни у постачальника може закінчитися протягом цього часу.
• Не можна скористатися скороченням цін на найближче майбутнє, яке може статися під час проекту.

Купуйте індивідуально, профі

• Якщо один диск виходить з ладу, він має дуже мало історії виробництва / транзиту з будь-яким з інших дисків. Якщо збій був викликаний чимось у виробництві чи транзиті, першопричина, ймовірно, не сталася на жодному іншому диску.
• Якщо диск загинув після прибуття або вийшов з ладу протягом перших годин використання, це буде виявлено незабаром після прибуття відправки, і процес повернення може пройти більш плавно.

Купуйте індивідуально, мінуси

• Знадобиться багато часу, щоб знайти достатню кількість постачальників із прийнятними цінами. Відстеження замовлень, помилка доставки, повернення пошкодженого товару та інші проблеми можуть зайняти багато часу для вирішення.
• Потенційно вищі витрати на доставку.
• Існує реальна можливість, що потрібен новий диск, але жоден не буде під рукою, що зупиняє проект.
• Уявлена ​​вигода. Незалежно від постачальника чи дати придбання, усі диски прийшли з того самого місця і справді однакові. Дефекти виробництва були б виявлені контролем якості, а нестандартні диски не були б продані. Пошкодження при доставці повинні бути настільки чудовими (і чітко видні неозброєним оком), що пошкоджені диски були б очевидні при розпакуванні.

Якщо ми збираємось просто за підрахунком кулі, "купувати оптом" виграє досить чітко. Але деякі плюси слабкі, а деякі - сильні. Багато пунктів кулі просто констатують логічну зворотну частину деяких інших. Деякі з цих речей можуть бути абсурдними забобонами. Але якщо забобони краще справляться з підтримкою цілісності масиву, я думаю, я б хотів іти з ним.

Яка група тут найрозумніша?

ОНОВЛЕННЯ: У мене є дані, що стосуються цієї дискусії. В останньому масиві, який я особисто побудував (близько чотирьох років тому), було вісім дисків. Я замовив у одного продавця, але розділив покупку на два замовлення по чотири диски кожен, приблизно один місяць. Один диск масиву не вдався протягом перших годин запуску. Це було з першої партії, і вікно повернення для цього замовлення закрилося в той час, як це потрібно, щоб розкрутити все.

Через чотири роки сім оригінальних дисків плюс одна заміна все ще працюють без помилок. (постукати по дереву.)

На практиці люди, які купують у підприємств-постачальників (HPE, Dell тощо) , не переживають з цього приводу .

Приводи, отримані цими постачальниками, вже розповсюджуються серед кількох виробників під одним номером деталі.

Диск HP під певним SKU може бути HGST або Seagate або Western Digital.

Той самий номер запчастини HP, варіант від виробника, номер партії та програмне забезпечення

Не варто намагатися перехитрити / перехитрити ймовірність відмови партії. Ви можете спробувати, якщо це дає спокій, але це може бути не вартим зусиль.

Добрі практики, такі як кластеризація, реплікація та суцільне резервне копіювання - справжній захист відмов партії. Додайте гарячі та холодні запасні частини. Уважно стежте за своїми системами. Скористайтеся інтелектуальними файловими системами на зразок ZFS :)

І пам’ятайте, збої на жорсткому диску не завжди механічні ...

На знак відповіді від ewwhite, деякі сисадміни замовляють партіями. Я б ніколи не замовляв накопичувачі в індивідуальному порядку, але стандартним операційним апаратом на останньому місці, де я працював у такій якості, було замовлення дисків партіями. Для дванадцяти приводних машин SOP продиктував розподіл накопичувачів на три партії, надаючи машині трирівневий профіль надмірності.

Однак інші невеликі наряди, з якими я консультувався, дотримувались різних протоколів, деякі не стосуються партії, а інші розбивають партії на два або чотири масиви. Коротка відповідь - зробити те, що вважається відповідним для рівня обслуговування, який вам потрібно досягти.

Побічна примітка: Останнє місце, де я працював, безумовно, робив правильно. Машина зберігання додатків вирішила вийти з ладу на цілій партії накопичувачів, і ми виявили, що ця конкретна партія має однакові помилки. Якби ми не дотримувались пакетного протоколу, ми зазнали б катастрофічної втрати даних.

Чесна відповідь того, хто витратив чимало часу на боротьбу з відмираючими рейдовими масивами та складними дисками: Не майте всіх своїх приводів з однієї партії, якщо ви зможете цього уникнути.

Мій досвід стосується лише спінінг-дисків, SSD-диски мають свої проблеми та переваги, які слід враховувати під час групового замовлення.

Саме найкращий спосіб керувати речами залежить в основному від того, наскільки великий масив ви працюєте, якщо ви працюєте з чимось на зразок 6 приводних масивів з 2 надмірністю диска, ви, ймовірно, можете безпечно придбати подібні диски від трьох виробників і розділити масив. так як це.

Якщо ви використовуєте непарний диск або ви працюєте з масивами, які не можна легко розділити на зразок цього, ви можете спробувати інші підходи, наприклад, купувати той самий диск у різних постачальників, або якщо ви купуєте оптом, ви можете переглянути і спробуйте розділити накопичувачі, виходячи з ймовірності виготовлення разом.

Якщо у вас є достатньо малий масив з правильним базовим технологією, можливо, варто витратити свій час, щоб наростити його поступово з неоднорідних дисків. Почніть з мінімальної кількості накопичувачів, у яких ви можете піти і придбати наступну поставку через місяць-два, або коли ви заповнили систему. Це також дозволить вам зрозуміти будь-які проблеми, які можуть виникнути з конкретними обраними вами моделями.

Причиною цієї поради є поєднання двох примх диска.

1. MTBF надзвичайно зламаний, коли у вас багато накопичувачів з подібним походженням. У статистиці ми називаємо це зміщенням вибірки, оскільки через подібність у ваших зразках усереднені ефекти будуть менш корисними. Якщо виникла проблема з партією або навіть із самою конструкцією, і це трапляється частіше, ніж ви могли б подумати, то накопичувачі цієї партії вийдуть з ладу раніше, ніж запропонували MTBF.

   Якщо диски розповсюджені, ви можете отримати [50%, 90%, 120%, 200%] MTBF, але якщо всі накопичувачі вийдуть з цієї 50% -ної партії, у вас заплутався.

2. Повторна збірка рейдового масиву вбиває диски. Насправді ні. Якщо ви отримаєте збій накопичувача і масив відновлюється, він накладе додаткове навантаження на інші диски, поки він сканує дані з них. Якщо у вас накопичувач, близький до відмови, його відновлення може бути вимкнено, або він може вже мати місце збою, про який ви просто не знали, оскільки цей розділ не читали недавно.

   Якщо у вас є багато накопичувачів від однієї партії, шанси виникнення подібного виходу каскаду набагато вищі, ніж шанси, якщо вони різні. Ви можете пом'якшити це шляхом регулярних сканувань патрулювання, скрабування, повторного впорядкування, незалежно від рекомендованої практики для типу масиву, який ви використовуєте, але недоліком цього є те, що це вплине на продуктивність і може зайняти години.

Для деякого контексту щодо того, наскільки дивовижно змінюється довговічність накопичувачів, Backblaze регулярно звітує про звіт про відмову диска ... Я жодним чином не пов'язаний з компанією, але вони повинні знати, про що вони говорять на предмет надійності накопичувача. . Наприклад, https://www.backblaze.com/blog/hard-drive-failure-rates-q1-2017/ ... набір вибірки, ймовірно, буде меншим, тому зовнішні дані можуть зіпсувати ваш власний досвід, все одно хороша довідка.

Мені довелося розглянути це питання для замовника пару років тому. У мене є поєднання практичного досвіду та досліджень, щоб створити резервну копію рекомендацій щодо багатоджерельних джерел.

На даний момент відклавши свої плюси та мінуси, а також чудову відповідь ewwhite , розсудливість говорить про те, що якщо ви купуєте накопичувачі самостійно, ви їх мультиресурсом. Швидкий погляд на обговорення Вікіпедією слабких місць у RAID вказує на дві цікаві посилання.

Перша посилання - це папір ACM RAID: високоефективне, надійне вторинне сховище (Чен, Лі, Гібсон, Кац та Паттерсон. Обчислювальні дослідження обліку ACM. 26: 145-185). У розділі 3.4.4 автори зазначають, що збої обладнання не завжди є статистично незалежними подіями, і наводять причини. У той час, коли я пишу цю відповідь, документ доступний в Інтернеті; С. 19-22 обговорити надійність ( http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.41.3889 ).

Друга довідка - « Збої диска» в реальному світі: що для вас означає MTTF в 1000000 годин? (Schroeder, Gibson. П'ята конференція USENIX з питань файлових і зберігальних технологій.) Автори представляють статистичні дані для підтвердження твердження про те, що збої в роботі накопичувача можуть бути кластеризовані в часі зі швидкістю, що була передбачена для незалежних подій. На момент написання цієї відповіді цей документ також доступний в Інтернеті ( https://www.usenix.org/legacy/events/fast07/tech/schroeder/schroeder_html/index.html ).

Dell прямо рекомендував проти RAID 5 ще в 2012 році через корельовані відмови диска у великих дискових середовищах; Прогнозується, що RAID 6 стане ненадійним з аналогічних причин близько 2019 року (стаття ZDNet під назвою "чому-рейд-6-зупиняє роботу-2019": http://www.zdnet.com/article/why-raid-6 -стоп-робочий-2019 / ). Незважаючи на те, що ключовим елементом обох є розмір диска та час відновлення, менші розміри накопичувача та мультисорсинг були рекомендовані як пом’якшувач для випуску RAID 5.

Так що так, мультиджерельні накопичувачі, якщо можете; якщо ви купуєте у підприємства-продавця, як описано у відповіді ewwhite, це може статися для вас прозоро. Однак ... мій клієнт купив 16-ти дискові накопичувачі 2 ТБ у підприємства-постачальника. Вони просто траплялися від одного і того ж виробника і, схоже, виготовлялися одночасно. Два з накопичувачів вийшли з ладу протягом двох тижнів після налаштування масивів RAID01. Тому перевіряйте накопичувачі, коли ви їх отримуєте. (Ви їх все одно перевіряєте, правда?)

Ще одним потенційним недоліком замовлення приводів індивідуально є упаковка та обробка.

Жорсткі диски майже ніколи не поставляються в роздрібній упаковці. Якщо ви купуєте їх по одному, продавець майже напевно буде перефасований. Я знайшов це перепаковування за великою мінливістю. Іноді ви отримуєте гарну коробку з великою кількістю прокладки, але інший раз у вас майже не буває.

Менший ящик також більш вразливий до того, що його перекидають перевізники без явних зовнішніх пошкоджень.

Якщо ви намагаєтесь пом'якшити сценарій "поганої партії", що означає, що кожен диск у певній партії закупівлі може / вийде з ладу приблизно в один і той же час, також важливо врахувати розмір масиву та рівень RAID, який використовується.

Якщо ви вирішили робити кілька замовлень, жоден встановлений стандарт не застосовується на всій основі. Люди, які рекомендують 2 - 4 яруси для придбання, повинні запитати себе, якщо один цілий рівень накопичувачів вийде з ладу, чи буде масив все ще в Інтернеті? Тому для надмірності рівнів RAID, таких як 1/5/10/50, вам доведеться купувати диски 1 за раз. Для RAID6 ви можете придбати 2 одночасно.

Я рекомендую незалежно від того, як ви купуєте накопичувачі, які ви регулярно створюєте резервні копії, і купувати відповідні запаси гарячого / холодного розміру для розміру масиву та типу RAID.

Я завжди купую б / в / оптом. Замовлення, які я відстежую, майже завжди є однаковою моделлю пристрою, і їх використання, принаймні, зменшує занепокоєння щодо "поганої партії". По Інтернету плаває стільки обладнання для продажу пожеж, що мені важко обгрунтовувати покупку нових накопичувачів (або чогось іншого з цього приводу), якщо це не для критично важливого обладнання (а все наше резервне обладнання все ще відновлюється!)

+ PRO: конкурентоспроможне онлайн-ціноутворення та постійний наплив апаратних засобів від зрушення бізнес-середовищ означає, що майже не потрібно докладати зусиль, щоб знизити 50-80% роздрібної торгівлі на робочі умови.

+ PRO: Низька ціна звільняє бюджет від перевитрати покупки та підтримки надійного запасного запасного обладнання.

+ PRO: Відносини продавців У мене є кілька інтернет-продавців, які отримують невеликі знижки від уже значної знижки на оновлення / використане обладнання. Зазвичай, ви не отримаєте це з Monoprice, якщо ви не купуєте величезну кількість або не маєте з собою угод з угодою. Крім того, особливо на жорстких дисках, просто переконайтеся, що ви перевіряєте їх прямо з коробки. У мене ніколи не було проблем з тим, щоб продавець не повернув або не замінив апаратне забезпечення DOA (якщо тільки це не була афера, яку я не зміг наздогнати).

-CON: Гарантія, питання легітимності Гарантія заснована на даті виготовлення пристрою, вам також потрібно буде стежити за онлайн-хакерами, які намагаються продати вам ребренди, клони тощо.

-CON: Тестування Необхідно враховувати витрати на тестування. Незважаючи на те, вам слід також протестувати свіже обладнання, тому не впевнені, чи це стосується.

-CON: термін життя важко судити; трохи більше сприйнятливі до відмов диска.

Примітка: якщо це клієнтська збірка і вони не мають явного запиту поновити / використовувати, завжди блискучими / новими!

Більшу надійність можна отримати, використовуючи жорсткі диски, що постачаються від різних партій і в ідеалі від виробників. Інакше вони можуть вийти з ладу занадто близько. Відмінна відповідь @Eliodorus пояснює це досить.

Звичайно, не важливо, хто переміщує диски. Якщо ваш постачальник підтвердить, що він це робить для вас уже, не потрібно дбати. Однак здається нерозумним робити криміналістику, можливо, навіть іншого постачальника та зробити висновок, що хтось робить для вас, якщо вам не сказали прямо. Зазвичай постачальники не лінуються рекламувати різні заходи, які вони вживають, щоб підвищити надійність їх приводу.

Насправді це залежить від масиву надмірних недорогих дисків (Raid). У Raid два, три, чотири, п’ять і шість, це допомагає мати накопичувачі з декількох різних партій, але це не є визначальним: один вже по суті втрачає надійність та ефективність використання цих рівнів.

Тепер, для звичайного розумного вибору - використання Raid 1 (дзеркальне відображення) або 1 + 0 (роздягання дзеркал), дійсно корисно мати різні диски на різних сторонах кожного дзеркала (кожен масив Raid 1), щоб не призведе до відмови дзеркала під час відновлення. Крім того, повинні бути гарячі запасні частини, щоб мінімізувати вікно відновлення.

Для отримання додаткової інформації ознайомтеся з веб-сайтом "Битва проти будь-якого рейду" F'2 (Baarf) від престижної мережі дубових столів старших DBA. Вікіпедія також добре підсумовує питання.

Наскільки я знаю, перевірка якості зберігання дисків на заводі є досить високою, і я особисто не побоювався б відмови обладнання в масовій формі через виробничі причини.

І якби я був злегка параноїдним, я б просто купував сховища у двох різних виробників, які я знаю, не ділю фабрик, через одного і того ж постачальника.

Зберігання настільки дешеве, що немає сенсу, як компанія НЕ купує оптом, і ви всередині компанії також списаєте сховище через пару років, тому інвестиції не такі великі. Час, необхідний для придбання у окремих постачальників, ймовірно, коштує дорожче через витрачений час.

Якщо ви все ще боїтеся відмови диска оптом, купуйте більше, ніж потрібно. якщо ви знаєте, що вам потрібно 12 дисків, ніж купуйте 5 - 7 запасних. Це було б лише 48 доларів США від 5 до 7 за терабайт, і ми все ще можемо дешевше, не роблячи нашу систему нестабільною чи небезпечною, тому що якщо знижка оптом чи диски б / у (чому це безпечно). Тоді як ми говоримо про перепрофілювання / повторну ініціалізацію масиву, тепер я, звичайно, не маю можливості знати, наскільки велике зараз ваше рішення для зберігання даних, але якщо ви витрачаєте тижні на це завдання, ніж, можливо, я б розглядав питання про переконфігурацію організаційного сховища, оскільки це звучить (для мене) більше, як пропустити конфігурацію, ніж будь-що інше так чи інакше.

Якщо ми дійсно станемо параноїком, отримаємо 2x рішення, яке ви коли-небудь використовували для зберігання даних, виходячи з того, наскільки ваші організації ставляться до розбиття пам’яті, це може бути дешевше, це не лише варіант для 500 компаній.

І ми також можемо говорити про завантаження даних, які нам не потрібні тут і зараз, як-от (випадковий приклад) років історичних фінансових даних для "хмарних" постачальників, які ми спочатку шифруємо. Це вилучить потреби в сховищі з власного сховища, що звільнить нас як фінансово, так і функціонально.

Виходячи з того, хто ви є, де ви є і чим займаєтесь, були б різні рішення, які найкраще працюватимуть для вас.