Як сервіси з великими швидкостями прийому встановлюють достатньо швидко жорсткі диски?

Amazon, Facebook та Google повинні приймати ТБ, якщо не PB в день, то це означає, що люди постійно встановлюють нові жорсткі диски та кабелі в нові стійки так само, як ви могли б створити звичайний сервер, чи використовується інша технологія масово підключати накопичувачі?

Я не знаю, чи хтось із них встановлює апаратно один сервер за один раз. Ще в 2008 році MS почала будувати свої центри обробки даних, отримуючи сервери в герметичних та заздалегідь провідних контейнерах для доставки серверів, які їм просто потрібно було вивантажити з вантажівки та підключити електроживлення / мережеві з'єднання. У той час як 08-побудова була поєднанням контейнерів і традиційним для їх останнього центру обробки даних, вони з тих пір перейшли до спеціальної збірної конструкції, яка захищена від погодних умов і не потребує розміщення всередині окремих будівель.

І HP, і IBM продають подібні пакети з попередньо вбудованими контейнерами, наповненими серверами, для розгортання яких потрібні лише з'єднання живлення / даних.

У Google є декілька технологій, які вони розробили внутрішньо для зберігання цих величезних масивів даних. Використовуючи ці технології, вони можуть фактично додавати вантажні машини жорстких дисків у свій кластер без будь-якого простою, але так, їм все одно потрібні люди.

Наскільки я знаю з блогу Google, дві основні частини - це файлова система Google, яка є розподіленою файловою системою, яка може масштабуватись до дуже великого масштабу: файлова система Google

А на додаток до файлової системи Google є велика таблиця, яка є якоюсь базою даних ключових значень, а також масштабується у великі масштаби: Велика таблиця

Для гарантування високої доступності все багато разів, в більшості випадків більше ніж у 3 рази.

Це точно правильно. Я пам’ятаю, що свого часу у Facebook-центрах обробки даних за середній день додавали три причепи-трактори, наповнені жорсткими дисками та серверними серверами. Звичайно, у них є складні схеми, які дозволять зробити сховища масштабованими та зайвими. Наприклад, Google має GFS . У Facebook є три центри обробки даних лише для їх обладнання, кожен розміром більше двох Wal-Marts і новий, запланований у чотири рази більший, ніж їхні існуючі центри.

Завдяки рішенням для зберігання даних Open Compute нового покоління, здатним вмістити 180 ТБ диска в 4-х стелажних одиниць, PB - це насправді не величезна кількість місця: додавання 1PB в день означатиме набір 5 таких серверів на день, а не велика проблема. А ще краще - їх можна отримати приблизно за 10 000 доларів, а це означає, що ви платите менше 60 доларів за туберкульоз.

Так, так, технологія доступна для всіх нас, щоб зробити те саме, за ціною, яка не порушує банк.

Але ви повинні пам’ятати, що більші компанії завжди отримують вигідніші угоди та підписують великі контракти на закупівлю величезних обсягів зберігання. Вони можуть отримати невеликі поставки протягом року, але це не так, як вони замовляють лише 1PB за один раз.

Ось цікава публікація в блозі від BackBlaze про те, як вони це роблять (вони, ймовірно, не потребують стільки дисків, як Google або Facebook, але все-таки цілий lt), і що їм потрібно робити, коли в Таїланді були повені, які зробили жорсткий диск дорого і важче дістатися:

http://blog.backblaze.com/2012/10/09/backblaze_drive_farming/