Відповіді:
Перевірте менше Linux, файлову систему дедупликації даних для Linux. Він все ще знаходиться в бета-версії, але ви можете спробувати:
З повагою,
МВ
Дедуплікація надходить до ZFS на OpenSolaris, але ця функція наразі недоступна.
Прототипом його були Джефф Бонвік та Білл Мур цієї минулої зими, і вони працюють над її інтеграцією цього літа. Тож він повинен бути доступний у наступному випуску OpenSolaris або раніше, якщо ви хочете пограти з галуззю розвитку.
Для людей, які, можливо, не знайомі з дедупликацією даних, це методика, за допомогою якої дані аналізуються на рівні файлу (або блоку, я думаю) і де однакові файли / блоки в усій файловій системі замінюються меншим маркером. Це призводить до значного зменшення ефективного розміру на диску. Це можна вважати формою копіювання на запис . Прочитайте сторінку вікі на ньому.
Немає жодної файлової системи, про яку я чув у Linux, яка б не робила дедупції, файли чи блоки. Такий звір був би корисним, хоча досить процесорним.
Через рік, але ось рішення для OpenBSD під назвою Epitome: http://www.peereboom.us/epitome/ . За умови ліберального ліцензування це може дуже добре перетворити його на ядро Linux.
Я щойно опублікував проект, над яким я працював, який робить вбудовану дедупликацію. Ви можете подивитися тут, якщо вас зацікавили. Він заснований на запобіжниках і працює на Linux.
Я не знаю жодних безкоштовних реалізацій дедупу для Linux. Я бачив, як деякі постачальники пам’яті рекомендують використовувати систему HSM (ієрархічне управління зберіганням) з VTL (Virtual Library Library), яка робить дедупцію.
Ви також можете розглянути систему, схожу на Occarina, яка не прозора, але може дати кращі результати, ніж дедупція.
так що ... немає новин про дедуплікацію в Linux? Можливо, відкриття може бути вибором, але давати платформу java, на якій вона працює, я не хочу отримувати головний біль. Я спробував це так, але ця машина Java та інші не дуже добре відповідають моїм потребам часу реагування на зберігання та безпеки.
Опція дедуплікації доступна під Linux, у файлових системах BTRFS та ZFS. BTRFS розробляється під Linux та має інструмент дедуплікації в режимі офлайн. Я не думаю, що "офлайн", ви повинні придумати Fs. Офлайн означає, що дані, що активно записуються, не дублюються. Але пізніше ви запускаєте інструмент для подвійних думок, що зберігаються зараз. Насправді, напевно, інструмент знаходиться в бета-версії. Інший спосіб - всередині ZFS. Доступний як FUSE та нативно: http://zfsonlinux.org/ . Це робиться через дедуплікацію в Інтернеті, на жаль, це уповільнення запису, тому що всі повинні бути розраховані на льоту. Ви можете вимкнути в Інтернеті та про цю поведінку. Після вимкнення дедуплікації всі дедупльовані дані зберігатимуться як подвійні. Нові записи зберігатимуться як "дублюються". Якщо ви хочете депульфікувати ці дані в майбутньому, вам слід увімкнути дедуплікацію і переписати всі "дублюються" файли.
Див. Документ, доступний на сторінці. Для прискорення записів і читання можна додати більш швидкі пристрої до пулу пам’яті (спеціально накопичувачі SDD або, можливо, швидше прошивнути USB, зверніть увагу на надійність пристрою).
DRBD робить саме це і робить це дуже добре! Можна зробити Master / Slave або Master / Master :-)