Я не є ніндзя розподіленої файлової системи, але після консолідації якомога більшої кількості дисків я можу на якомога менше машин, я б спробував за допомогою iSCSI підключити основну частину машин до однієї основної машини. Там я міг би об'єднати речі в сховище, яке не вірно відповідає. Переважно, щоб було стійко до несправностей в машині (якщо привід вимикається) і серед машин (якщо вся машина відключена).
Особисто мені подобається ZFS. У цьому випадку допоможе нарощування стиснення, дедупції та відмовок. Однак я впевнений, що існує багато інших способів стиснення даних, роблячи їх стійкими до помилок.
Хочеться, щоб я порекомендував справжнє розповсюджене під ключ рішення файлу, я знаю, що це справді хитро, але я сподіваюся, що він спрямовує вас у правильному напрямку.
Редагувати: Я все ще новачок у ZFS та налаштовую iSCSI, але нагадав побачити відео з Sun у Німеччині, де вони демонстрували відмову від ZFS. Вони підключили три комп'ютери USB до комп'ютера і поставили чотири флешки у кожен концентратор. Потім, щоб жоден концентратор не міг знімати пул пам’яті, вони створили об'єм RAIDz, що складається з однієї флешки з кожного концентратора. Потім вони знімають разом чотири томи ZFS RAIDz. Таким чином, для паритету використовувались лише чотири флешки. Далі, звичайно, відключений один концентратор, що деградувало кожен zpool, але всі дані були доступні. У цій конфігурації можна втратити до чотирьох накопичувачів, але лише у тому випадку, якщо якісь два накопичувачі не були б в одному пулі.
Якщо ця конфігурація використовувалася з необробленим диском кожного поля, то це дозволило б зберегти більше дисків для даних, а не для паритету. Я чув, що FreeNAS може (або збирався змогти) ділитися накопичувачами в "сирому" режимі через iSCSI, тому я припускаю, що Linux може зробити те саме. Як я вже говорив, я все ще вчуся, але цей альтернативний метод був би менш марнотратним з точки зору паритету приводу, ніж моя попередня пропозиція. Звичайно, він покладався б на використання ZFS, який я не знаю, чи був би прийнятним. Я знаю, що зазвичай краще дотримуватися того, що ви знаєте, якщо вам доведеться щось будувати / підтримувати / ремонтувати, якщо тільки це не є досвідом навчання.
Сподіваюся, що це краще.
Редагувати: Якось копав і знайшов відео, про яке говорив. Частина, де вони пояснюють розповсюдження флеш-пам’яті USB через концентратори, починається з 2м10с. Відео - це демонстрація їх сервера зберігання даних "Thumper" (X4500) та способи розповсюдження дисків по контролерам, тому якщо у вас відмова контролера жорсткого диска, ваші дані все ще будуть хорошими. (Особисто я вважаю, що це просто відео з видовищами, які розважаються. Мені б хотілося, щоб я мав ящик Thumper сам, але моїй дружині не сподобалося б, щоб я перебирав під'їзд піддону через будинок.: D Це одна велика коробка.)
Редагувати: я запам'ятав проходження через розподілену файлову систему під назвою OpenAFS . Я не пробував цього, я лише читав про це. Можливо, інші знають, як це справляється в реальному світі.