Загальні поради щодо рішення архіву. ~ 15 тб і росте.


9

Мені потрібна краща система зберігання та архіву для файлів мого малого бізнесу. Конкретно файли є завершеними відеопроектами. Поза часовими обмеженнями та витратами, що мене стримує, це те, що я не вірю ні в одне з розглянутих рішень. Тому я викладаю свою проблему і свої думки. Буду вдячний за будь-яку думку.

Бюджет: я вірю в те, щоб витратити те, що потрібно. Як говориться, ми малий бізнес. Я сподіваюся, що я можу вийти з цього за <5k і більше близько 1-3k. Це може бути мрія про трубу. Просто скажи мені так.

Проблема:

  • Сирі відеофайли мають величезний розмір файлів. На сьогодні ми накопичили, мабуть, 10 + тб, і це швидко зростає.
  • Для редагування відео потрібен швидкий доступ для читання / запису до файлів, так що центральний файловий сервер або файли, що базуються на хмарі, не будуть досить швидкими. Тому нам, мабуть, потрібне рішення для старих проектів, і теперішні проекти повинні залишатися місцевими.
  • Ми хочемо якесь рішення щодо надмірності та виїзду.

Що ми зараз робимо:

  • Ми використовуємо великі, якісні зовнішні жорсткі диски.
  • Ми завжди купуємо в парі і копіюємо вміст вручну. Іншими словами, ми працюємо з одного, і копіюємо файли в інший, який служить резервним копіюванням / падінням назад.
  • Ці HD-файли досить швидкі з firewire800 або USB3, щоб безпосередньо працювати.
  • Після заповнення ми відкладаємо пару.

Що не так у поточному рішенні:

  • Незважаючи на те, що дані дублюються на двох накопичувачах, ці диски не є "резервними копіями" та не зберігаються за межами сайту.
  • Організація через ці багато зовнішніх HD-дисків є складною. Який проект на якому приводі? тощо.
  • Врешті-решт у нас з’явиться смішна кількість жорстких дисків.
  • Копіювання не є RAID.

Параметри:

Локальний сервер

  • Купіть сервер для кріплення на стійці та корпус масиву жорсткого диска, наприклад Norco, (SAS) (20 місць).
  • Усі відеофайли зберігатимуться на цьому сервері. Ми могли б встановити та заплатити хмарну послугу, щоб створити резервну копію цього комп'ютера / сервера. CrashPlan працює на Linux і не обмежує кількість даних. Гарні DDrives були б фізичними накопичувачами, підключеними до сервера, тому ми обійшли правила "no NAS" у таких компаній, як CrashPlan. Це не персональний комп'ютер, тому синхронізація може працювати 24/7/365. Це вирішило б питання поза межами сайту.
  • Замість використання сервісу резервного копіювання в Інтернеті, наприклад CrashPlan, ми могли б написати сценарій для синхронізації цих файлів з обліковим записом Amazon Glacier.
  • Політика, що відео визирає з роботи зовнішніх жорстких дисків для поточних проектів, але повинна ставити проект на цьому новому комп’ютері після завершення. Іншими словами, продовжуйте використовувати зовнішні жорсткі диски для поточних проектів і зберігати архівовані проекти на цьому сервері.

Служби резервного копіювання на основі хмар (CrashPlan.com, BackBlaze.com, Carbonite.com)

  • Зазвичай дозволяють створити резервну копію зовнішнього жорсткого диска, який фізично підключений до комп'ютера. (немає NAS або мережевих накопичувачів).
  • Зазвичай вони очікують, що резервне копіювання зовнішнього диска залишиться на зв’язку з вашим комп'ютером, а всі дані залишаться на диску. Якщо ви не підключаєте зовнішній жорсткий диск місяцями, що станеться з резервними копіями? Якщо ви очистите простір, видаливши старі проекти, вони також будуть видалені з онлайн-сервісу.
  • Вимагає від наших користувачів залишати зовнішні жорсткі диски, підключені до свого комп'ютера, поки всі дані не опиняться у хмарі. Для великого проекту це може зайняти тижні.
  • Відновлення проекту було б дуже повільним через швидкість передачі через Інтернет.
  • Ці хмарні резервні копії зазвичай характерні для одного користувача / одного комп’ютера. Отже, якщо жорсткий диск створив резервну копію одним користувачем. Потім другий користувач працює над проектом, що це означає?

Великий NAS

  • NAS - це "Зберігання мережевих площ". Ви вставляєте стільки ж жорстких дисків, скільки буде вміщено. Це здійснить рейд на них. Ви можете отримати доступ до цього через підключення до мережі або, можливо, через USB3 / Firewire.
  • Більшість з них запечатала операційну систему. Таким чином, ви не можете запускати інше програмне забезпечення, наприклад хмарні служби резервного копіювання. Також ви не можете робити будь-які налаштування або запускати власне програмне забезпечення. Ви отримуєте те, що купуєте.
  • Великі НАН досить дорогі і не дуже великі. Ви не знайдете багатьох з більш ніж 4 бухтами. Наразі великий HD - 3 тб. Тож 4bays може бути десь біля <12tb місця для зберігання. Не супер зручно для майбутнього.

Інші ідеї:

  • Резервні копії стрічки.
  • Просто архівуйте старіші проекти безпосередньо на льодовику Amazon, пропустіть створення локального сервера для їх зберігання.

Дякую за будь-яку пораду !!! Джед


Після завершення проекту, як часто вам потрібно повертатися назад і працювати з його даними?
Майкл Хемптон

Ви розумієте "Великий НАН" надзвичайно мало. Є компанії від NetApp до EMC до IBM до Isilon до багатьох інших, які хотіли б сісти з вами.
mfinni

Нам потрібно буде повернутися до цих даних один чи два рази на місяць. Якби була затримка доступу до цих даних (Amazon Glacier), я вважаю, що це було б прийнятно, якби ми говорили години, а не дні.
maestrojed

Тоді не використовуйте льодовик. Витрата на отримання буде високою, і ваш бухгалтер викреслить, коли отримає рахунок.
HopelessN00b

@mfinni Я впевнений, що EMC та IBM мали б чудові ідеї та чудове обладнання (не знав про NetApp). Не впевнений, що це може відповідати моєму описаному бюджету, і не здається підходящим для малого бізнесу. Схоже, NetApp робить апаратне забезпечення подібним до того, що я називав "масив жорсткого диска", зроблений Norco. Я згадував про це в ідеї побудови власної сервера. Такий підхід ви пропонуєте?
maestrojed

Відповіді:


12

Стрічка. Просто так. У Quantum є система SuperSTore, яка справляється набагато більше, і я бачив їх за ціною, ніж ваші 5000 цін - нові. Хороша річ, що ви можете витягнути стрічки на зберігання, тому масштабування цього буде досить економічно вигідним, а стрічки - останніми.


Оскільки ви задоволені часом пошуку за порядком годин, я повністю з TomTom щодо цього. Стрічка значно недооцінена, і відмінно підходить для такого роду речей.
MadHatter

Якщо ви йдете зі стрічкою, просто переконайтеся, що у вас є щось, що дозволяє вам часто перевіряти стрічку. На мій досвід, близько 75% резервних копій стрічок не працюють, тому що люди використовують одні і ті ж касети кілька разів і дивуються, коли через 3 роки вони не можуть отримати дані з них.
Метью

2
Досить дивно, враховуючи, що правильний прийом належним чином зберігається (кашель) має гарантійну тривалість гарантії (я думаю, 30 років). І ви могли легко зробити 2 примірники. Візьміть ваги дуже добре. Це більше - вибачте - ідіотизм ppl, який, ймовірно, ніколи не перевіряє відновлення навіть один раз .... хоча я б робив це за графіком (1 тиждень, 1 місяць, 1 рік).
TomTom

1
+1 - Це практично корпус підручника для стрічки великої ємності. Додаткові витрати на додавання пам’яті до архіву на основі стрічки (навіть при вирізанні двох стрічок для зберігання на або поза сайтом) нижчі, ніж накопичувачі жорсткого диска, а стрічки призначені для архівації. LTO підтримується галузевою асоціацією, яка виявила прихильність до створення продуктів, що дозволяють отримати доступ до старих засобів масової інформації. Незважаючи на це, через кілька років, замінюючи елемент стрічки, ви, мабуть, повинні перенести старі дані до нових форматів стрічки, якщо б лише боротися з потенційною гниттю бітів. Якщо вам потрібно це "OPEX", розгляньте лізинговий варіант.
Еван Андерсон

1
Стрічка хороша, але вона вимагає дисципліни - регулярне тестування, обертання за межами місця тощо. Я особисто ходив би з ближньою лінією NAS (можливо, nas4free) і обмеженою швидкістю rsync на ідентичний вікно.
чотиримісний

4

По-перше, я б порадив уникати льодовика. Це звучить добре, поки ви не скоротите витрати на фактичне відновлення великої кількості даних. Це неофіційний калькулятор, який можна використовувати для обчислення витрат на зберігання та пошуку льодовиків та судити про себе . Відновлення терабайт даних з льодовика - досить неприваблива перспектива.

По-друге, я б радив, що для простих цілей резервного копіювання ви можете піти на один сервер NAS з великою кількістю накопичувачів. Мені це здається, що ви розглядали лише варіанти NAS та домашніх офісів для невеликих офісів, і вам слід розглянути належну пропозицію NAS. Віддаючи перевагу Dell, я хотів би зазначити Dell's PowerVault NAS-сервери , але HP, IBM, SuperMicro і майже всі інші мають подібні пропозиції. У мене вдома старший Dell PowerVault NX, який слугує моєю медіатекою, і в ньому дванадцять 2 ТБ близьколінійних SAS дисків. 4 ТБ близьколінійних накопичувачів SAS також доступні і сьогодні, тому ви завжди зможете заповнити належним сервером NAS. (Або придбайте пару серверів NAS.)

Ви можете легко скористатися одним із них у вашій локальній локальній мережі, встановити програмне забезпечення резервного копіювання на ваш вибір ( наприклад, Bacula, якщо вам подобається безкоштовне , або будь-яке з десятка комерційних пропозицій, якщо ви хочете підтримати постачальника) і використовувати великий обсяг RAID як свій резервна ціль. Потім ви можете використовувати хмарну службу резервного копіювання для резервного копіювання цього сервера NAS і мати переваги локальних та віддалених резервних копій. Знову-таки, це я роблю вдома. Правильний сервер NAS, терабайти резервного копіювання даних у хмарний сервіс.

І звичайно, ви також можете скористатися стрічкою ... придбайте стрічковий накопичувач або бібліотеку LTO - особисто я буду намагатися уникати стрічкових або оптичних носіїв дисків, але вони є законними варіантами і можуть бути дешевшими, ніж диск -дискове рішення.

Нарешті, я б запропонував вам врахувати головний недолік хмарних служб резервного копіювання, а саме розмір вашої Інтернет-мережі. Щоб завантажувати терабайти даних через Інтернет-з'єднання та / або стягувати додаткові платежі з вашого провайдера, може знадобитися тиждень або місяці. Тож, хоча вони є життєздатним варіантом резервного копіювання даних, навіть даних про підприємство, це обмеження, яке більшість людей не враховує, поки вони вже не потрапили в нього.


+1. Льодовик архівний - це серйозно S ++++ для резервного копіювання. Резервне копіювання означає відсутність відновлення протягом століть, потім ЛОТ - і 5% квота означає плату в разі відновлення.
TomTom

1

Я думаю, це залежить від вашого бюджету. Якщо ви можете витратити лише $ 6 тис., Вам, мабуть, потрібно буде створити власний NAS. Я хотів би поглянути на nas4free і на що вам коштує сервер. Якщо ви можете витратити $ 20 000, ви, ймовірно, можете заповнити сервер з купою диска та гідною картою RAID або програмним RAID під Linux або будь-яким іншим.

Приблизно за 40 доларів ви можете мати високий кінець 1U (IBM x3550 M4, 2-портовий Emulex 10 Гбіт нік, 4 Гбіт NIC, 128 ГБ оперативної пам’яті, 2 локальні диски SAS 10 кб) з 10 Гбіт iSCSI в коробку SAN Infortrend з 24 дисками SAS на 4 ТБ. скибочки і кубики, як ви хочете. RAID6 - це розумна конфігурація.

Стрічка - це також хороша ідея, але я не знаю, наскільки це насправді дешево. Це залежить від того, яку велику бібліотеку ви отримаєте. Якщо бібліотека з 48 стрічок хороша, ви знову можете це зробити за допомогою 1U та зовнішньої картки SAS, можливо, за 30 доларів США та 2 диски LTO6 ... Але тоді вам потрібні ліцензії на програмне забезпечення для управління резервними копіями стрічок чи щось. Я використовував лише NetBackup, який, мабуть, не дуже підходить для вас тут. Тільки не забувайте, що ви, мабуть, захочете якось керувати бібліотекою стрічок у програмному забезпеченні. Але як тільки ви вийшли з бібліотеки, не забувайте про пошук стрічки та завантаження її, а також місце для постановки для доступу ...

Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.