Як обробляти архівування даних? [зачинено]


9

Резервне копіювання - це одне, але довгострокове архівування - інше. Наприклад, вам може знадобитися зберігати електронні листи протягом 7 років або зберігати всі дані проекту на невизначений термін. Я зберігав архіви на стрічці, але потім у мене руйнуються стрічки (накопичувачі виривають стрічку). Отже ... напишіть на 2 стрічки, я чую, як ви говорите. Це те, що роблять інші? Чи є 2 (або більше) стрічок з однаковими даними для надмірності?

Але тоді інша проблема полягає в тому, що стрічки зазвичай не можуть читати різні виробники резервного програмного забезпечення. Наприклад, якщо ви переходите з Arcserve -> Backup Exec -> Commvault понад 10 років, вам потрібно буде зберегти всі 3 системи, щоб ви могли відновити старі дані. Так само і з обладнанням. Старі стрічки можуть бути не зашифровані. Можливо, це не сумісно з новою бібліотекою тощо. Отже, чи зберігаєте ви старий апаратний апарат і старе програмне забезпечення на випадок, якщо вам може знадобитися відновити 10-річний файл?

Або ... при переході до нової системи резервного копіювання ви переносите всі архівовані дані до нової системи та повторно архівуєте їх на нові стрічки? Це може бути величезна робота.

Будь-які думки?


Скільки даних ви хочете архівувати?
GreenKiwi

Відповіді:


3

Про скільки ми говоримо? Наші "архівні" дані досить малі, що ми просто зберігаємо їх у прямому сховищі (на блоці NAS), яке отримує резервну копію зі звичайними живими даними, тому вони існують так само, як і наші звичайні дані, і підлягають тим же методам відновлення без потрібно турбуватися про збереження десятирічної технології навколо. Якщо наші живі дані переміщуються до нової платформи зберігання, архів переміщується прямо разом із ним. Ми також встановлюємо дозволи на архівні дані таким чином, що лише член групи безпеки архіву (яких користувачі дуже мало користувачів) має доступ, щоб видалити що-небудь із цих папок.

Якщо у вас є більше даних, ніж це можливо, зберігається в прямому зберіганні, стрічка може бути найкращим варіантом для довготривалого зберігання, а також зберігання принаймні двох примірників у різних місцях зберігання. Виконуйте їх кожні пару років, щоб переконатися, що медіа все ще читаються, і перейдіть зі старих медіа на нові медіа, якщо ви переключаєте постачальників, щоб гарантувати можливість продовження доступу до даних.


1
Архів становить близько 3 або 4 ТБ. Це занадто багато для резервного копіювання, як частина звичайного резервного копіювання, це вимагатиме багато додаткових стрічок щотижня, що є марною витратою, оскільки вона ніколи не змінюється. І у нас все одно немає запасного сховища SAN.
PowerApp101

1
Для 3-4 ТБ я б зібрав купу зовнішніх накопичувачів 1,0-1,5 ТБ і зробив два набори резервних копій безпосередньо на накопичувачах. Seagate виготовляє корпус, який буде приймати 4 SATA накопичувачі 1 TB і дозволять отримати доступ через один USB-з'єднання. Ви можете завантажити два з них і розмістити їх у різних місцях. Ще виводьте їх щороку чи два, щоб переконатися, що вони все ще працюють і заміняйте накопичувачі за потребою. Залежно від вашого постачальника, стрічки можуть бути дешевшими.
Джастін Скотт

Так, я думаю, що це правдоподібне рішення у ці дні дешевого диска. Я хотів би відійти від стрічки, вона занадто ненадійна (помилки CRC, зламана стрічка, помилки етикеток тощо).
PowerApp101

Так, я б пішов з цим варіантом. Простір для накопичувачів настільки дешевий в ці дні, а збереження даних у надлишковій системі - це шлях.
GreenKiwi

1
Резервне копіювання 4TB через usb займе майже 20 годин. У вас немає вікна, в якому потрібно виконати роботу або, як ви сказали, чи ніколи ваші дані не змінюються? Якщо у вас є вікно, я б пішов із чимось із більшою швидкістю передачі даних.
JohnyD

3

У моєму випадку ми робимо архіви на магнітофонну стрічку, і я розповім, чому це має сенс для нас.

Перш за все, програмне забезпечення, яке ми використовуємо, Tivoli Storage Manager - це руки, програмне забезпечення, яке ми будемо використовувати в осяжному майбутньому. На мою думку, TSM - це вершина харчового ланцюга з точки зору програмного забезпечення для резервного копіювання, тому проблема переходу на іншу програмну платформу для нас відносно не існує.

Коли ми говоримо, ми зберігаємо досить багато довгострокових архівів, і у нас є кілька різних способів зробити це. На щастя для нас, ми використовуємо деякі новітні стрічкові технології, які можуть зберігати більше 1 ТБ на картридж, тому наявність великої кількості архівів, що живуть всередині бібліотеки, не є проблемою.

  • Архівуйте на локальних стрічках і скопіюйте ці архіви в наш альтернативний центр обробки даних, а стрічки архіву знаходяться всередині бібліотеки стрічок.

Ми робимо це для певних типів даних, оскільки дані відновлюються регулярно, і це досить важливо, щоб вимагати двох копій.

  • Архівуйте локальні стрічки, але не віддалені стрічки, і залиште стрічки всередині бібліотеки.

Ми робимо це для дещо менш важливих даних, які потрібно відновлювати дещо регулярно.

  • Заархівуйте на локальній стрічці та відправте їх на зберігання поза межами сайту.

Вищеописані практики для нас спрацювали досить добре. Пару років тому ми перейшли на зовсім іншу технологію стрічки, і це було трохи роботи над переміщенням даних, але насправді це не було великою справою. У TSM це було буквально одна команда архівів на сервері, і вона запускалася. Пробіг може зайняти пару днів, але це не було активним трудовим зусиллям ні для кого.

Хоча хвиля майбутнього, очевидно, є дисковим сховищем.

Як тільки з’явиться можливість, я буду розміщувати дисковий масив у захищеному сховищі та копіювати довготривалі архіви типу аудиту на подібний пристрій.


Гарні ідеї. Насправді у нас є аналогічна установка. У нас є 2 віддалених об'єкти із стрічковими бібліотеками. Ми використовуємо Commvault, подібно до TSM, мабуть. Річ у тому, як ви визначаєте "трохи менш важливі дані". Це комусь важливо! І це може бути критично для бізнесу, для вас невідомим.
PowerApp101

У дисковому масиві варто переглянути ZFS на Solaris або NetApp, які регулярно перевіряють контрольні суми на блок, значно знижуючи ймовірність біт-гнилі. Будь-який підхід до архіву, який не враховує біт-гниль, здається мені недостатнім.
RichVel


0

Ви також можете подивитися на таке рішення, як Data Domain (зараз NetApp) . Вони архівують і роблять розширене стиснення, яке вони називають DeDupe, завдяки чому вони шукають подібні патрони даних і отримують дуже високі коефіцієнти стиснення.

Які дані ви намагаєтесь створити резервну копію? Це все "випадкові" дані, такі як відео чи музика? Або це дані, які можуть піддаватися стисненню?


Підозрюйте, що це обійдеться занадто дорого, як Avamar. Ми використовуємо програмне забезпечення Commvault, яке також робить DeDupe, якщо ви витрачаєте долари, яких у нас немає. Чорт ти GFC!
PowerApp101

0

Просувайтесь вперед з новим рішенням архівації та зберігайте стрічки стільки часу, скільки вам потрібні ці дані. Якщо вам це потрібно постійно, ви можете перенести його на диск. З резервними копіями диска переходити на майбутні носії рішуче простіше.

Через рік чи, можливо, через 2, ви можете почати відхиляти стрічки, якщо ці резервні копії більше не потрібні.

Повторне виконання - це величезне зусилля, якщо час вирішить вашу проблему за вас. Проведіть аналіз витрат, якщо у вас є витрати, пов’язані зі зберіганням резервних копій та / або ліцензій на програмне забезпечення для роботи з ними.


0

Схоже, ваша проблема з архівуванням даних для спрощення вашої загадки виглядає як сумісність старих стрічок у майбутньому з новим обладнанням.

Моє рішення: виберіть лише одного постачальника з повним рішенням (програмне та апаратне забезпечення), якому ви довіряєте, зробимо все можливе, щоб запропонувати застарілу сумісність.

І, очевидно, отримайте дуже хороший ціновий контракт, враховуючи вашу вірність;)

Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.