Додавання пам’яті 60 Тб на сервер SLES 10

Мені потрібно додати трохи архіву \ staging storage на сервер SLES 10. Вимога полягає в тому, щоб представити досить великі обсяги (9-20 ТБ кожен прибл., 60 ТБ або близько цього), які будуть використовуватися для зберігання архівних даних (буквально це для бібліотеки), що містять великі файли зображень (здебільшого 150Meg Tiff's) і великі тарболи. Дані будуть надзвичайно упередженими для читання IO, безумовно,> 95% і, ймовірно, понад 99%.

Сховище вже придбано - ромашка Dell MD3000 SAS, що є ланцюжком з 2 MD1000, повністю заселеними 2TB 7200 RPM SATA накопичувачами, загалом 45 дисків. Стек масивів з'єднується за допомогою двох подвійних зовнішніх адаптерів SAS, тобто до стека є 4 шляху.

Я маю намір налаштувати їх у вигляді набору з 4 томів, що сидять на 4 групах RAID з одним гарячим запасом на масив. Усі групи будуть RAID 6 з 7 або 14 дисками, і кожна група RAID буде представлена ​​як один LUN, використовуючи всю ємність цієї групи. З боку SLES вони повинні бути відформатовані як томи XFS.

У мене обмежений досвід роботи зі SLES (і Linux взагалі), і я шукаю поради щодо цього, зокрема:

1. Чи варто бути обережними при налаштуванні томів XFS такого розміру під SLES 10, тобто налаштування за замовчуванням будуть в порядку, враховуючи профіль IO?
2. Який найкращий спосіб ініціалізувати \ розділ \ форматувати їх? Я використовував Parted для встановлення дискової мітки та диспетчера розділів YAST (приймаючи всі за замовчуванням), щоб створити та відформатувати обсяг XFS для мого початкового тесту.
3. Як налаштувати багатосторонній шлях? Коли я представляю початковий обсяг тесту, він відображається у вигляді чотирьох окремих пристроїв (/ dev / sdl, / dev / sdm, / dev / sdn та / dev / sdn). Що мені робити, щоб працювати з цим як єдиним томом?
4. Під час мого початкового тестування я бачу швидкість передачі даних від існуючого об'єму SAN EMC Clariion SAN близько 30 Мг / сек. Це набагато нижче, ніж я очікував, навіть якщо я рахував штрафний знак RAID 6, я очікував, що я побачу щось у пробігу 70-100 Мг / сек.
5. Як я можу сказати, чи все в порядку - де я повинен шукати помилки \ попередження тощо? Наприклад, редактор розділів YAST потребує дуже багато часу, і я хотів би зрозуміти, чому.
6. Ви б розділили це по-іншому і \ або використали іншу файлову систему, і якщо так, чому?

Сервер Dell 2950 - я не перевіряв детальні характеристики, але вгорі показано використання, що мається на малому рівні з максимум.

На моїй попередній роботі у нас була схожа проблема. Ми робили виробництво для планетаріїв, і кожен кадр був 64 Мегапікселі. Багато великих зображень. Вони будуть оброблені для кожного театру в дуже агресивній операції зчитування через кластер комп'ютерів.

У цьому випадку сервер мав аналогічну настройку зберігання. Кілька зовнішніх прямих доданих RAID-масивів. Кожен з них був у томах RAID6, що піддався впливу хоста і доданий до VG (група томів) під LVM (Logical Volume Manager). Кожен показ / постановка отримав би свій власний LV (Logical Volume), відформатований XFS, який ми виростимо разом із проектом у міру необхідності.

Якщо ваші набори даних є досить статичними або ростуть передбачуваним способом, як це, то такий підхід повинен працювати для вас. Але будьте уважні, цей підхід має і зворотний бік. Вам доведеться мікро-керувати НН на своєму сховищі. Деякі адміністратори віддають перевагу саме цьому, але інші намагаються цього уникати. Але це дозволяє нарощувати кожну файлову систему LV та XFS у міру зростання набору даних. Зберігайте обсяги XFS якомога менше, щоб не зациклюватися на fsck, на який потрібні роки. І може діяти як контроль за пошкодженнями, якщо файлова система піде на південь.

Відмова: Якби я сьогодні налаштував це, я би використовував OpenSolaris та ZFS. Здебільшого, б / с, це дозволяє уникнути мікро-керуючих проблем і є чудовою файловою системою / менеджером томів. Тож ви, можливо, захочете поглянути і на це.

Я був би набагато більше включений, щоб придбати більше дисків і RAID 10 їх.

У мене виникли жахливі проблеми з сотнями дисками FATA (TATA SATA) на 1 ТБ, які ми купували назад, - це 1 фунт фунтів стерлінгів кожен, і я втрачаю 5% на місяць! В основному вони просто не розроблені для робочого циклу 24x7, і тому у вас можуть бути ті самі проблеми, чому я рекомендую R10.

RAID6 - це крок у правильному напрямку, але якщо у вас є можливість, я б залишив принаймні один диск убік як гарячий запас - якщо диск вмирає де-небудь у вашому масиві, він заскочить і почне смугати, поки він чекає на вас замініть невдалий диск. З цього питання переконайтесь, що у вас є на сайті принаймні 2 або 3 запасних диска, готові до заміни, а також переконайтеся, що у вас є всі налаштування оповіщення, щоб повідомити про проблеми 24x7.

Що стосується продуктивності, то ці 2 ГБ диски не такі сутужні для 7,2 К-диска, і SAS може бути дуже швидким, тому я очікую, що 70 Мбіт / с для послідовних читань, про які ви згадали, - очевидно, частота роботи і записів буде досить низькою.

Вибачте, якщо мені здається негативною, я вже зараз бореться зі сховищем і можу легко спати лише з корпоративними дисковими системами - я просто затягнув занадто багато 48/72-годинних змін, фіксуючи нижню частину передач.