Як зробити резервну копію даних 20 + ТБ?

У нас є сервер NAS в компанії, для якої я працюю, і використовується для зберігання фотосесій. Кожен сеанс становить приблизно 100 Гб. За останні пару років цей сервер накопичив 10+ ТБ даних, і ми збільшуємо кількість фотосесій в експоненціальній формі. Я вважаю, що до кінця наступного року у нас буде зберігатися 20+ туберкульозу в цьому NAS. Зараз ми підтримуємо цей сервер до стрічки за допомогою стрічок LTO-5 із Symantec BackupExec. Оскільки розмір цього сервера зростав, повне резервне копіювання цього сервера не завершується протягом ночі. Хто-небудь має пропозиції щодо резервного копіювання цього обсягу даних? Чи повинні ми створювати резервну копію? Чи є інші варіанти, які можуть бути кращими?

Вам потрібно зробити крок назад і перестати думати: "У мене в NAS 20,0 ТБ, мені потрібно створити резервну копію!" і розробити стратегію зберігання даних, яка враховує характер ваших даних:

• Звідки вона береться і скільки нових даних ви отримуєте? (у вас це є у вашому запитанні)
• Як використовуються дані, коли ви їх маєте? Чи редагують фотографії люди? Чи зберігаєте ви оригінали та створюєте відредаговані версії?
• Як довго потрібно зберігати всі дані? Чи люди все ще вносять зміни до зображень від 2 років тому?

Залежно від відповідей на два останні запитання, можливо, вам потрібна більше система архівації, ніж кардинально інша система резервного копіювання.

Дані, які є статичними (наприклад, фотографії на 2 роки, які ви зберігаєте «на всякий випадок»), не потрібно робити резервні копії щовечора, а то й кожного тижня, їх потрібно архівувати. Те, що ви насправді робите, може бути складнішим, але в концептуальному плані всі старі фотографії можна списати на магнітофон (кілька копій!) І більше не створювати резервні копії.

На основі ваших коментарів, кілька додаткових думок:

• Оскільки ви зберігаєте оригінали кожної зйомки недоторканими та працюєте над копією, і припускаючи, що принаймні деякі оригінальні фотографії є ​​пиляками, ви, можливо, зможете скоротити кількість даних, які потрібно створити резервну копію навпіл.

• Якщо ви все ще не можете закінчити повну резервну копію протягом будь-якого вільного періоду часу, загальним способом прискорити роботу - спершу зробити резервну копію з диска на диск, а потім скопіювати резервну копію на стрічку.

У вас є два варіанти:

Варіант 1:

1. Придбайте ще один NAS
2. Надайте вашим користувачам доступ RO до нового_NAS
3. Перемістити всі файли старше 2 років до new_NAS
4. Продовжуйте створювати резервні копії old_NAS як завжди
5. Кожні 6 місяців переміщуйте файли старше 2 років на новий_NAS

Варіант 2:

1. Придбайте ще один NAS

2. Бігайте rsyncщогодини: old_NAS -> new_NAS

   або, краще використовувати щось на зразок rdiff-резервного копіювання, яке робить rsync + зберігає дельти зі змінами файлів (ви можете відновити старіші версії файлів)

   rdiff-backup  user1@old_NAS::/source-dir    user2@new_NAS::/dest-dir
   

3. Кожні 6 місяців чистіть старі файли, на яких працює щось на зразок:

   rdiff-backup --remove-older-than 2Y    old_NAS::/dest-dir
   

Чому резервні копії повинні завершитись протягом ночі? Продуктивність файлового сервера? Можливо, ви зможете обмежити пропускну здатність свого програмного забезпечення для резервного копіювання, щоб обмежити вплив протягом дня. Або виділіть інтерфейс вашого NAS, щоб поговорити з магнітофоном, щоб обмежити вплив на інший трафік.

Чи можете ви проводити повні смітники у вихідні дні та робити лише додаткові кроки протягом тижня? Якщо проблема полягає у зміні стрічок у вихідні, коли нікого немає поруч, дешева бібліотека стрічок / автозмінювач коштує набагато менше, ніж платити комусь за зміну стрічок.

Чи можете ви сегментувати свої дані на кілька груп, які є достатньо малими для заповнення у вікні резервного копіювання?

Ми маємо близько 50 ТБ даних в нашій NAS, і це займає більше тижня, щоб отримати повне скидання всього цього за допомогою двох стрічкових накопичувачів (один том займає майже тиждень, тому що він містить багато крихітних файлів). Те, що ми робимо, - це копіювання наших даних у другу NAS. Наш вторинний NAS знаходиться на місці (але в іншому центрі обробки даних від основного), тому ми все ще знімаємо дані на стрічку для резервного копіювання за межами сайту. Ми запускаємо резервні копії з цього вторинного NAS, щоб резервні копії нікого не сповільнювали.

Якщо ви можете відібрати ваш вторинний NAS досить далеко, то це може бути вашим резервним копієм, не потрібні стрічки.

Я просто сумніваюся в розмірі кожного сеансу зйомки, чи справді це 100 Гб / сеанс? Скільки сесій проводить ваша компанія щомісяця?

Оскільки ви в основному зберігаєте старі сеанси, які не використовуються часто тощо, і, ймовірно, не потрібно часто відновлювати цю інформацію, я б запропонував вам скористатися послугами якоїсь компанії, щоб піклуватися про це для вас. .

Наприклад, зберігання цих 20 ТБ за допомогою Інтернет-сервісу, як Amazon Glacier, коштуватиме трохи більше $ 200 на місяць. Якщо вам потрібно часто завантажувати ці архіви або навіть відновити їх потім у повному обсязі, це може спричинити певне обмеження часу / витрат. Якщо ви просто зберігаєте ці речі ", щоб бути впевненими, що вони зберігаються", можливо, використання третьої частини може полегшити ваше життя (і навіть дешевше, ніж придбання іншого NAS, стрічок тощо)

full backups of this server are not completing overnight
Тоді спробувати додаткові резервні копії? Одне повне резервне копіювання кожні xx днів, додатково решту.

Тверді диски недорогі, швидші, ніж стрічки, і їх можна використовувати для резервного копіювання.

Також є хороші альтернативи хмарного резервного копіювання, тому не потрібно постійно додавати більше та швидші стрічки.
Наприклад:

• Хмарні сервіси Red-Gate
• Резервне сховище Amazon
• Підтримка Amazo Glacier (дешеве довготривале зберігання)

Я вважаю, що найкращим рішенням для цього є те, що ми робимо з нашими даними про оплату праці, для чого вам потрібно буде докласти мінімальних зусиль.

• Спочатку він зберігається з рештою резервних копій даних щодня. Наш термін зберігання цих резервних копій становить 13 місяців.

• Як тільки ми більше не очікуємо, що дані потрібно буде модифікувати, (два періоди оплати пізніше, IIRC), дані (через скрипт) зберігаються в архівному обсязі, який виключається з регулярних резервних копій.

• Обсяг архіву щорічно зберігається на стрічці, а стрічки надсилаються в Cintas для невизначеного зберігання.

Це дозволяє нам мати легкий доступ в Інтернеті до цих незмінних даних (тому нам не доведеться дзвонити в стрічку в будь-який час, коли бухгалтер захоче щось подивитися), зберігаючи при цьому невизначені архіви даних, що знаходяться за межами сайту, які нам можуть знадобитися зберегти назавжди , і не руйнуючи нашу систему резервного копіювання. Здається, що налаштування одного типу може працювати для вас, хоча ви, можливо, захочете скорегувати кількість даних, які ви зберігаєте в Інтернеті, залежно від ваших потреб вчасно отримувати доступ до цих даних - 20 ТБ корпоративного накопичувача набагато дорожче ніж архівувати його на два-три набори стрічок LTO5, які ви зберігаєте у сховищах поза межами сайту.

Можливо, ви можете створити свій власний Backblaze Pod : 135Tb за 7384 $
Натисніть тут, щоб отримати додаткові відомості: Інформація про будівництво Backblaze Pod

Ви можете придбати потрібні шматки і побудувати їх самостійно.

Можливо, ви можете побудувати 3 з них, і зберегти 2 на місці, і 1 на ділянці. Тоді ви можете використовувати один струк як "дані в Інтернеті", другий струк на місці в якості резервного копіювання першого струму, а третій міський виїзд в якості резервного резервного копіювання за межами сайту.

Маючи 135Tb пам’яті для кожного стручка, ви навіть можете подумати про збереження певної історії змін ...
135Tb / 20Tb = 19 повна резервна копія .
Крім того, ви можете зберегти 10 повних резервних копій плюс смішну кількість диференційного резервного копіювання.

Природно, якщо ви хочете отримати резервну копію за межами сайту, вам знадобиться якась велика пропускна здатність ... :-)

Мій колега придбав 8-диск NAS Synology. Він працює на гібридному RAID. Кілька тижнів тому він придбав у NewEgg вісім 3 ТБ Seagate Barracuda за $ 89. Ви можете rsync дзеркало від виробництва NAS до цього нового NAS через GigaBit. Оскільки ви переносите лише різниці, перенесення займе коротший час. Тоді ви можете використовувати резервну NAS для виконання повної чи додаткової кількості. Ваші кошти будуть коштувати менше 2000 доларів за двері резервного NAS.