Який найбезпечніший і найменш дорогий спосіб зберігання 10 терабайт даних?


19

Я член виробничої компанії, і ми готуємося до нашого першого художнього фільму. Ми обговорювали способи зберігання даних, щоб зберегти весь наш оригінальний вміст (як можна довше). Хоча ми розуміємо, що дані ніколи не є безпечними на 100%, ми хотіли б знайти найбезпечніше для нас рішення.

Ми розглянули:

  • 16 ТБ NAS для зберігання на місці

  • 4-5 жорстких дисків 2 Тб (дешево, але не надмірно), скопіюйте оригінальні кадри на накопичувачі, а потім запечатайте у статичну вільну сумку

  • Запис даних на диски Blu-Ray (трудомісткі та дорогі: 200 дисків == 5000 доларів)

  • Стрічковий привід (и)?

Я знаю щонайменше про стрічкові накопичувачі, за винятком того, що вони надійніші, ніж диски. Будь-який досвід / знання з цією кількістю даних дуже цінується.


1
Не забудьте сказати їм не намагатися повісити їх суперсильними магнітами. Погано для дискети, дійсно BAD для жорстких дисків ...
Hello71,

2
Це не відповідь, але, можливо, це цікаво для вас: blog.backblaze.com/2009/09/01/…
Bobby

Як щодо використання DiamonDisc DVD's tomsguide.com/us/… Я знаю, трохи дорого.
Моаб

Відповіді:


14

Це передбачає, що ви збираєтеся в архіві, а не в звичайні резервні копії або живі дані.

Отримайте набір жорстких дисків SATA (1 або 2 ТБ) плюс кілька додаткових. Скопіюйте свої дані на диски. Використовуйте QuickPar (або архіватор, що підтримує томи парності) для створення додаткових файлів парності. Розподіліть файли парності між вашими жорсткими дисками.

Інформація про парність дозволить вам реконструювати файли, якщо у вас залишилось достатньо файлів парності. Отже, якщо один диск гине, а інші диски з інформацією про парність все ще працюють, ви можете використовувати файли парності для відновлення оригіналу.

Для більшої надмірності виконайте це все двічі і зберігайте в окремих місцях.

Якщо ви справді параноїк, зберігайте PCI та PCI Express на контролері SATA також на кожному сайті!

Редагувати: Чорт, якщо параноя - це все, перейдіть цілу свиню і зберігайте ПК з гігабітною мережею Ethernet на кожному сайті, здатному читати диски!


10
+1 Я думаю , що ви ефективно визначити і придуманий новий синдром: dataparanoidism. ; P
jrista

Однозначно купуйте подвійні жорсткі диски та копіюйте всі дані двічі для надмірності, дякую!
Джош Т

Що стосується "дійсно параноїдального" аспекту, я думаю, що адаптер usb sata , швидше за все, буде корисний у майбутньому, ніж роз'єм для материнської плати (наприклад, PCI, PCI-E), хоча і повільніше.
matt wilkie

9

Пристрої LTO4, які ми використовуємо, можуть набивати 800 Гб на одну стрічку. Недоліком є ​​вартість самих дисків. Якщо ви накопичили 5 доларів за диски Blu-Ray, вартість LTO4 вам не сподобається. З іншого боку, самі коляски коштують досить дешево за ГБ, тому ви можете зберігати багато копій. Ці стрічки мають хороший термін зберігання, але вам потрібно планувати переміщення їх на нові носії, коли ви замінюєте магнітофон. З того, як ви описуєте, як ви збираєтесь використовувати це сховище, я не вважаю, що стрічка підходить. Якщо тільки це не буде резервним рішенням, а не рішенням архіву . Різні проблеми.

Ви можете розглянути для цього постачальника резервних копій на хмарі, якщо щоденна зміна в мережі є досить малою. Звичайно, це залежить від того, наскільки надійним є ваш Інтернет-зв'язок, і відновлення з нього може бути однаково болючим. Ці послуги є досить новими, тому невідомо, як вони вирішують проблему банкрутства ваших даних; що з ним відбувається, якщо вони вийдуть з бізнесу?

Місцеве зберігання диска - це безумовно шлях. Корпус накопичувача з легкозамінними накопичувачами - це, мабуть, найкраща ставка, враховуючи ваші обмеження витрат. Якщо ви можете жити з цими даними в режимі офлайн, тоді перейдіть до цього. Диски дешеві, а корпуси дисків - дешевші, ніж стрічкові накопичувачі. Менше рухомих деталей.


Я припускаю, що вам потрібно це для архіву, а не активне використання у ролі відео. Якщо це так, то це інша проблема зберігання.


LTO5 зараз 1.5TO. Не впевнений, стиснений чи ні, але точно 1,5!
r0ca

2
Я настійно рекомендую пройти цей маршрут. Вартість одноразово невелика (5 500 доларів США), але якщо ви будете в ній довгостроково, 90% цієї вартості припадає на привід; стрічки коштують по 100 доларів за кожну і, ймовірно, з часом знижуватимуться. Крім того, ви можете транспортувати з невеликим ризиком пошкодження та зберігати їх у сейфі чи подібному, також з низьким ризиком. Також це 1.5T нестиснений, 3T стиснений при 2: 1.
Slartibartfast

1
FWIW, LTO4 зараз працює близько $ 40 за штуку CAD / USD. LTO5 працює ~ 120 доларів за штуку CAD / USD. (Джерело: CDW)
Chealion

Так, але самі магнітофони працюють у середині тисяч. Я бачу його на NewEgg за $ 3700.
SysAdmin1138

3

Ви в своєму дослідженні NAS переглядали пристрої зберігання DroboPro або DroboElite ?

Подумайте, якою була б вартість, якщо ви втратили частину / весь свій кадр та бюджет відповідно;)


2

Чи розглядали ви розміщені послуги? Я не впевнений, як важить ціна, але ви, можливо, захочете розглянути хостинг-сервіс, який продає об'ємне сховище. Можливо AWS ?


2
Просто, щоб надати деякі цифри, 10 ТБ на Amazon S3 - це $ 1500 / місяць. Також є опція "значення" в 1000 доларів на місяць, що називається зменшеною надмірністю.
гіперслуг

Ах, добре знати - дякую за дані.
nicorellius

Але є також льодовик Amazon, який коштує набагато дешевше, ніж сховище S3 (за 10TB $ 70 / місяць). Пошук триває тривалий час і коштує дорого, якщо вам це потрібно зробити багато.
Кріс

2

Вісім-десять 2 ТБ жорстких дисків; зробіть два набори. Зберігайте, як уже було сказано, окремо ...

Я б тримався подалі від стрічки, оскільки вона набагато чутливіша до умов, в яких вона зберігається, ніж диски; Крім того, через п'ять років шанси хороші, ви все одно зможете підключити накопичувач SATA до чогось, але ви, можливо, не зможете отримати доступ до магнітоли, яка може читати ваші касети.

Оптичні засоби були б найкращими з точки зору довгострокової стабільності, але, як ви зазначаєте, витрати та логістика роблять їх дещо недоцільними.


2

Я рекомендую мати якийсь NAS / RAID для живих файлів, з якими ви часто працюєте. Якщо ви збираєтесь використовувати накопичувачі великої ємності, можливо, ви хочете скористатися RAID-6 або подібним, який, як RAID-5 + гаряча запасна частина, дозволяє вам вийти з ладу два диски до того, як ваш RAID буде деградований, але на відміну від гарячої запасної конфігурації ваш другий додатковий диск також матиме паритет на ньому, так що рейду не потрібно буде перебудовувати паритет до запасного при відмові. При збільшенні накопичувачів більше шансів вийти з ладу приводу під час відновлення, тому добре мати паритет живих можливостей.

Крім цього, я б рекомендував використовувати жорсткі диски, як стрічкові накопичувачі. У ці дні можна навіть придбати корпуси жорсткого диска (також і ці ), які дозволяють подавати файли накопичувачів для архіву. Ви можете скинути файли в RAID, а потім зробити додаткові архівні копії на диски, які потрібно подати.

У деяких відеовиробничих будинках, таких як Pixel Corps, використовуються подібні установки.

Також я б дуже рекомендував зберігати файли в більш ніж одному місці (не під одним дахом). Крім того, обов'язково дотримуйтесь мантри "якщо вона написана не менше ніж у двох місцях, ви її ще не зберегли". Також RAID не рахується як резервне копіювання саме по собі.


2

Я припускаю, що це багато в чому для зберігання в режимі офлайн резервного копіювання: легко створюється та відновлюється, але не використовується широко в повсякденних операціях.

У ці дні накопичувачі на 2 ТБ можна було придбати близько 140 доларів. Так, за 10 ТБ, 5 дисків, 700 доларів. Візьміть приблизно 400 доларів, щоб створити напівпотужний сервер навколо цього Debian або Ubuntu або якогось іншого аромату Linux. Якщо у вас система з декількома NIC, ви можете зв’язатисьмережеві інтерфейси разом (можливо, я вважаю, що вам потрібен керований комутатор, який підтримує транкінг), щоб збільшити доступну пропускну здатність сервера та захистити від відмов NIC. Потім можна виставити сховище через samba, NFS або інший метод робочим станціям, які потребують його використання. Для цього великого обсягу даних, ймовірно, ви хочете певного надмірності, так що коли (ні, якщо) один з цих дисків кусає його, ви не будете без своїх даних. RAID5 тут не є хорошою ідеєю з кількох причин, але RAID10 підходить до рахунку. Оскільки на сервері працює Linux, ви можете використовувати mdadm для управління масивом RAID. Для цього вам потрібно буде подвоїти кількість фізичних пристроїв, тож вам доведеться до 10 дисків. Загальна вартість цього сервера зберігання даних:

Якщо ви дійсно любите свої дані (якщо це справді важливі виробничі дані, вам слід!), Ви можете створити дублікат сервера та створити резервну копію. Це можна зробити за допомогою кронтабуля rsync, який може бути жахливо повільним, рішенням з трубопроводу netcat / tar , що було б швидше, і впевнитись, або встановити рейдові пристрої як основу пристрою drbd . Завдяки автоматичному копіюванню на обох машинах пам’яті, ви (по суті) гарантували зайві резервні копії даних. Ви можете стати ще більш фантазійним і налаштувати систему відмови серця, щоб гарантувати доступність вашого обсягу даних.


rsync! = резервне копіювання. Будьте уважні, оскільки це може легко синхронізувати пошкоджені файли. Тобто, якщо ви не використовуєте більш досконалу систему із символічними посиланнями чи щось для автоматичного створення історичних архівів (файли, що змінюються, залишаються у старій версії; файли, які не мають просто символічних посилань).
Кевін Брок

2

Зберігання вкладеного сховища Buffalo TeraStation III 8TB - £ 1,085.56

amazon.co.uk посилання

Я отримав терастаційну версію 1tb, яку я оновив до 4 Тб, вона працює бездоганно в RAID5 для мене. Ви можете поглянути на придбання меншої версії та модернізацію її, щоб заощадити гроші - або придбати кілька терастацій тощо.


1

Я мало знаю про стрічкові накопичувачі та семантику зберігання даних на стрічці, тому я не можу вам там допомогти. Враховуючи непомірні витрати на використання bluray як резервного копіювання в масштабі, я б дотримувався NAS або окремих накопичувачів.

Слід бути обережним з NAS / Raid, що, хоча вони можуть зберігати значну кількість інформації в одному віртуальному накопичувачі ... ви повинні тримати всі накопичувачі разом, і RAID, як правило, не є великим довгостроковим " резервне рішення ". У вас є можливість втратити більше одного накопичувача, втратити сам пристрій NAS (і рідко є гарантії, що пристрій заміни зможе зчитувати дані з накопичувачів, навіть якщо це "однаковий" пристрій.)

Враховуючи, наскільки радикально дешеві жорсткі диски в наші дні та їх загальну стабільність, я б вибрав окремі накопичувачі. Ви можете легко взяти 10 2 Тб накопичувачів за невелику вартість (можливо, $ 1200 - $ 1500) та створити два набори резервних копій. Ви отримуєте як автономне, так і зайве резервне копіювання даних, без ризиків, пов'язаних з RAID або пристроєм NAS. Окремі накопичувачі також пропонують більший діапазон сумісності, оскільки SATA навряд чи з'явиться в будь-який час.


1

Якщо ви дійсно хочете переконатися, що ви його не втратите, то вам потрібно хоча б два варіанти архіву. Можливо, стрічка та жорсткі диски. Зробити лише одну копію без якоїсь форми надмірності - це ще один спосіб прокатки кісток даних.


1

Залежно від потреб у сховищі, якщо ви шукаєте резервне копіювання окремих робочих станцій, перегляньте зовнішній док-накопичувач Thermaltake BlacX для знімних накопичувачів SATA. Вони підтримують як зовнішні USB, так і SATA з'єднання. Просто скиньте диск у док-станцію, скопіюйте дані і у вас є резервна копія.

У мене є доки вдома і на роботі. Я роблю резервні копії в кожному місці та переношу їх в інше місце для зберігання поза сайтом. У мене також є накопичувач на нулях для переміщення поточної роботи між місцями.

Доки коштують близько 60,00 доларів кожен, і ви можете отримати 1,5 ТБ накопичувачі за ціною менше 100 доларів.


1

Джоше, ти не дав зрозуміти, чи це робочі дані, чи архівні дані. Якщо дані є цінними, немає різниці між резервною копією та архівом, лише там, де ви зберігаєте, тобто у вашій робочій системі чи архівній системі. Знову ж таки, якщо дані цінні, ваша робоча система та система архіву будуть ідентичними, якщо ви хочете захистити дані та дотримуватися правил резервного копіювання.

Архів більше стосується типу носія, ніж того, що зберігається на ньому. Архів означає, що дані ніколи не змінюватимуться, тобто пишуться один раз і читаються багато разів, зазвичай називаються WORM. Приводи WORM, як правило, стрічкові, але такі речі, як RDX Quikstor і RDX Quikstation (станція RDX з 8 ядрами), мають опцію WORM для конкретних накопичувачів, щоб вони не могли надмірно записуватися. Я підозрюю, що RDX Quikstation може відповідати вашому архівуванню.

Пам'ятайте, що система архіву є частиною резервного плану. Ніколи не слід розглядати наявність лише однієї копії будь-яких даних.

Деякі правила резервного копіювання:

3-2-1 Правило.

Три (3) копії ваших даних. Один (1) джерело та два (2) резервні копії на двох різних носіях, один (1) з яких підтримується поза межами сайту.

Приклади: Сервер на сервісі, створений в резервному режимі, в резервному режимі NAS та в резервному режимі на магнітофоні чи RDX. Сервер, виконаний в резервному режимі, в резервному режимі в NAS та в іншому місці. Сервер на місцях, створений з резервної копії в NAS на місці, і реплікувався в режимі реального часу в NAS NAS. Вашою резервною копією на місці має бути диск.

ЗМІ:

Резервне копіювання за межами сайту залежить від часу. Резервне копіювання зовнішнього сайту на портативний носій автоматично вводить затримки в часі. тобто резервне копіювання на ніч в понеділок знімається поза межами вівторка ввечері. Якщо у вас внаслідок катастрофи до завершення ділового вівторка, ви втрачаєте вартість двох днів. Скільки ви можете дозволити собі втратити, повністю залежить від вашого бізнесу та частоти змін даних.

Зберігання медіа:

Повністю дотримуйтесь правил зберігання носіїв. Деякі стрічки вимагають зберігання їх вертикально між вузькими діапазонами температури та вологості, далеко від джерел магнітних полів. Випадання стрічки знизить її надійність. Надсилання стрічок додому з офісною дівчиною в сумочці поруч з її мобільним телефоном - це лихо, яке чекає, що трапиться. Стрічки також вимагають що-небудь до двох годин у резервному середовищі перед тим, як вставити в привід, вирівняти температуру та вологість між стрічкою та стрічковим приводом. Стрічки також потрібно відкинути і замінити через необхідний інтервал часу / запису.

Особисто з цих причин мені не подобається стрічка. Вартість не невелика, і це не є тим, щоб хтось цим керував. Інвестувати в стрічку, але не дотримуватися правил, безглуздо. Зробити це можна дешевими, але надійними краплями.

Усуньте одиничні точки відмови:

Не поширюйте резервні дані на декілька носіїв інформації. Наприклад, повна резервна копія на одній стрічці та диференціали на 6 інших стрічках вдвічі збільшила ризик втрати даних. Якщо у мене є резервна копія, мені подобається, що вона містить усі файли, необхідні для відновлення даних. Краще мати 7 повних резервних копій.

Певним чином рейд вважається кількома засобами масової інформації. Де б ви не використовували RAID, переконайтеся, що він має автоматичну відмову в режимі гарячої заміни. Майте принаймні один запасний привід у відсіку накопичувача як виділений запас гарячої заміни, і системи автоматично замінять мертвий привід гарячим запасним запасом. Якщо у вас є терабайти даних, подумайте про наявність у вашому RAID двох або більше запасних запчастин.

Дотримуйтесь віддалених відстаней:

Ваша відстань поза межами сайту важлива. Немає сенсу створювати резервну копію за межами сайтів, якщо вона лише захищає від втрати даних за певних обставин. Той, хто пережив землетрус, повінь, смерч, ураган тощо, скаже вам це. Нещодавно в нашому місті землетруси побачили, як багато великих компаній пролетіли без резервних копій у офш-сайті (стрічки все ще поруч із серверами) чи нечитабельних резервних копій. Зазвичай 60 миль / 90 км - це гарна відстань.

Я не знаю вашого бюджету, тому давати поради складно. Бюджет впливає на вибір резервного копіювання та місця зберігання. Я працював над кінопродюсером, який надає ІТ-підтримку, тому я розумію рухомі частини вашої галузі. Є багато питань без відповідей:

Які сервери у вас є, якщо такі є? Скільки у вас персоналу? Це ваш єдиний художній фільм? Який розмір найбільший набір файлів чи файлів? Який час між цим фільмом та наступним? Наприклад, якщо ви виробляєте повний робочий день, у вас є грошовий потік для покриття щомісячних витрат, таких як віддалене резервне копіювання через волокно. Який грошовий потік буде генерувати фільм? З якими вимогами ви рухаєтесь вперед? Ці та інші питання задають ваші вимоги, методологію та бюджет.

Наприклад: Якщо ви виробляли 3 художні фільми щороку та рекламні ролики щомісяця, де працювали з десяток співробітників, ви можете дозволити собі: Сервери з RAID резервними копіями до RAID NAS на місці. Виділене посилання для волокон (не таке вже й дороге) зі 100-бітним безперебійним (не заглушеним провайдером) посиланням реплікується в центр обробки даних на відстані 60 м / 90 к. Важливі дані архіву слід записувати на стрічку чи RDX та зберігати у центрі обробки даних або сховищі стрічки. Бюджет - ваш єдиний визначальний фактор щодо ступеня надмірності та резервного копіювання, яку ви можете собі дозволити.

Або якщо це низький бюджет, а дохід від продажу, а майбутнє невідоме, ви можете розглянути можливість накопичувачів TAPE, RDX або USB (не рекомендується), які зберігаються вдома.

Теперішні та майбутні вимоги, грошовий потік та бюджет, які зважуються на втрату даних - ваші визначальні фактори. Я пропоную вам зайняти досвідченого спеціаліста з резервного копіювання та / або бізнес-аналітика для роботи над процесом зберігання та резервного копіювання.

Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.