ZFS та SAN - найкращі практики?

Більшість дискусій ZFS пропонують вимкнути апаратний RAID і ZFS повинен безпосередньо спілкуватися з дисками та керувати RAID на хості (замість контролера RAID).

Це має сенс на комп’ютері з 2-16 і навіть більше локальними дисками, а як бути в середовищі з великим SAN?

Наприклад, на підприємстві, в якому я працюю, є те, що я вважав би САН скромного розміру з 2 повними стелажами дисків, що становить щось на зразок 400 шпинделів. Я бачив полки SAN, які набагато щільніші, ніж наші, а розгортання SAN набагато більші, ніж у нас.

Чи виставляють люди 100 дисків безпосередньо на великі сервери ZFS? 300 дисків? 3000 дисків? Чи сприяють засоби управління SAN автоматизованим керуванням подібними речами?

FWIW У мене є досвід роботи до 92 дисків в одному пулі ZFS, і поки він працює чудово.

Але якщо ви справді говорите про кілька сотень дисків, я б розглядав можливість їх розподілу на невелику кількість диз'юнктних (але все-таки великих) пулів. Я не хочу знати, як довго zpool scrubпрацює, наприклад, пул на 3000 дискових пулах (але ви хочете регулярно їх чистити). Також така кількість команд, як, наприклад, zpool statusбуло б непростим при такій великій кількості дисків. То навіщо складати всі яйця в один кошик?

(Побічна зауваження щодо дедупування . Зауважте, що, хоча депутатом можна керувати на рівні набору даних, він знайде дублікати на рівні пулу. Тобто, ви, ймовірно, отримаєте гірші результати дедупування, якщо ви будете розділяти, як пропонується. З іншого боку, ви Вам потрібно набагато більше пам’яті, щоб утримувати хеш-пам’яті одного гігантського пулу, який, можливо, не вписується в ARC + L2ARC, якщо пул занадто великий. Отже, якщо ви використовуєте дедуппінг, кількість наявної пам’яті, мабуть, є хорошим показником для максимального практичного розміру пулу .)

Ми дозволяємо нашим SAN управляти RAID. Навіщо витрачати гроші на всю базу даних NVRAM, що підтримується батареєю, і на ці спеціалізовані процесори, а потім перевантажувати роботу на сервер, для чиїх процесорів я хочу робити щось, крім контрольних сум RAID?

Ось веб-сайт, який ви можете переглянути, щоб врахувати розмір та конфігурацію пулу (ів) для ймовірності втрати даних.
https://blogs.oracle.com/relling/entry/zfs_copies_and_data_protection

Це давнє питання, але це просто актуальне сьогодні, як це було 7 років тому!

Щоб відповісти на першу частину запитання, я не знаю, що ми би назвали "SAN", який коли-небудь виставив би необроблені диски на сервер, який міг би запускати ZFS. SAN за визначенням представляє лише блокове зберігання (LUN) або, можливо, щось подібне до Filer / FS представляє NFS або CIFS. Є деякі "SAN", які фактично запускають ZFS внутрішньо, але це значною мірою абстрагується - диски ніколи не піддаються впливу сервера, натомість компонент "Filer" SAN пропонує блокові або мережеві файлові системи для серверів.

Пристрій, на якому представлені необроблені диски (над SAS або рідше за FC), є DAS. Для запуску ZFS, як правило, ви скажете RAID-контролеру представляти диски як JBOD.

Однак ви повинні використовувати ZFS на LUN, представленому SAN? Можливо: ZFS vs, наприклад, EXT4, надає кілька додаткових функцій, таких як скраби, які перевіряють контрольні суми або виконують знімки. Скраб, ймовірно, не може автоматично залікуватись так само, як це можливо, якщо він робить RAID на диску, але він все ще може попереджати вас про пошкодження, допомагаючи запобігти бітроту. Знімки, які ви можете створити, наприклад, на сервері файлів Linux SAMBA, значно перевершують те, що ви можете зробити з EXT, вони навіть можуть бути виставлені в Windows як "Попередні версії".

Якщо ви не даєте зайвим даним ZFS для роботи (наприклад, дзеркала, RAID-Z), ви втрачаєте багато переваг його використання. Кількість залучених дисків цього факту не змінить. Однак, чи справді це має значення, залежить від вашого оточення. Ви повинні визначити, які функції зберігання вам потрібні (потенційно трудомісткий аналіз), а потім піти на полювання на найменш дороге рішення (ви можете собі дозволити), що відповідає вашим потребам. Це може означати використання ZFS скрізь, а також спеціалізовані пристрої зберігання даних Oracle (деякі люди роблять це та мають безліч дисків, які піддаються впливу ZFS без проблем, і для використання засобів Oracle використовують інструменти), це може означати використання лише корпоративних продуктів SAN, або це може означати використання якийсь гібрид (у такому випадку вам, мабуть, доведеться самостійно розробити деякі інструменти та процеси для управління довкіллям). Дон '