Рок-стабільна файлова система для великих файлів (резервного копіювання) для Linux


18

Яка файлова система найкраща для резервного копіювання? Мене цікавить головне стабільність (особливо некорумпованість файлів під час жорстких перезавантажень тощо), але також важливо, наскільки ефективно вона обробляє великі (> 5 ГБ) файли.

Крім того, які параметри кріплення потрібно використовувати?

Ядро є Linux> = 2.6.34.

EDIT: Я не хочу методів резервного копіювання. Мені потрібна файлова система для їх зберігання.


Скільки даних ви створюєте резервні копії щодня, щотижня, щомісяця? Скільки даних ви плануєте зберегти та на який термін?
Стефан Ласєвський

Чи повинен це бути Linux? Чи розглядали ви ZFS (старіша, стабільна версія 14) на FreeBSD 8.1?
Стефан Ласєвський

Це тимчасове резервне зберігання для ноутбука - доки він не буде відправлений на зовнішній жорсткий диск. Що стосується FreeBSD - хоча це чудова система, мені це не підходить у цій програмі.
Maciej Piechotka

Відповіді:


13

Ви можете використовувати ext4, але я б рекомендував монтувати його в journal_dataрежимі, який вимикає dealloc (затримку розподілу), що викликало деякі попередні проблеми. Якщо вимкнути транзакцію, нові дані зроблять повільніше, але зроблять записи у разі відключення електроенергії, менше шансів мати втрати. Я також повинен зазначити, що ви можете відключити dealloc, не використовуючи journal_dataякісь інші переваги (або, принаймні, це було в ext3), наприклад, трохи покращені читання, і я вважаю, що краще відновлення.

Екстенти все ще допоможуть у роздробленості. Розширення дозволяють видалити великі файли набагато швидше, ніж ext3, видалення будь-якого розміру даних (одного файлу) має бути майже миттєвим на ext4, але може тривати довгий час на ext3. (будь-яка ступінь FS має цю перевагу)

ext4 також fsckшвидше, ніж ext3.

Останнє зауваження, виправлення в ext4 до рівня 2.6.31? Я б в основному переконався, що ви не запускаєте ядро ​​до 2.6.32, яке є ядром LTS.


Якщо вибираєте "твердий камінь", ext4можливо, варто врахувати мерти і ризики, пов'язані з його, on disk layoutа значить, і безпекою даних у спокої (аспект, який тут відкидається )
людство, що

5

XFS є твердою породами і був у ядрі протягом століть. Вивчіть такі інструменти, як xfs_freeze, і перевірте, чи це те, що ви шукаєте. Я знаю, що це дуже суб'єктивно, але я використовував XFS для зберігання даних протягом багатьох років без випадків.


2
На основі своєї відповіді хотілося б зазначити, що XFS заснований на розширеннях і має багато тих же переваг, що і ext4. Однак я хотів би зазначити, що він несе ті самі проблеми з dealloc, що може мати ext4, що може призвести до втрати даних у сценарії витягування плагінів. Я не знаю, чи можна відключити операцію у XFS.
ксенотерацид

Так, я не впевнений, чи можна вимкнути цю функцію, але утиліта xfs_freeze забезпечує стабільне зображення диска. На головній сторінці: Прапор -f вимагає замовити вказану файлову систему XFS від нових модифікацій. Коли це вибрано, всі поточні транзакції у файловій системі дозволяються завершувати, нові виклики системи запису припиняються, інші виклики, що модифікують файлову систему, припиняються, а всі брудні дані, метадані та дані журналу записуються на диск. Будь-який процес, який намагається записати в заморожену файлову систему, заблокує очікування розмикання файлової системи.
dsp

Я менше переймаюся корупцією файлів у середині запису, поки працює флеш.
Maciej Piechotka

3

Просто використовуйте інструмент резервного копіювання, який підтримує контрольні суми. Наприклад, Дар робить, і він підтримує додаткові резервні копії. Тоді ви можете створити резервну копію в непогану файлову систему, наприклад, ext3.

Для резервного копіювання ви хочете щось міцне / дуже стійке. І btrfs або ZFS сьогодні просто не готові.


Я вважаю це ext3
Maciej Piechotka,

0

btrfs має прозору контрольну суму даних, записаних на диск, і швидкий режим впорядкованого запису, який завжди увімкнено (та багато інших зручних для резервного копіювання функцій), що робить його привабливим для резервного копіювання. Докладнішу інформацію див. На веб-сторінці https://btrfs.wiki.kernel.org/index.php/Main_Page .


Хм. Хоча це може бути гарною відповіддю в майбутньому, я не думаю, що btrfs або zfs є стабільними в Linux зараз.
Мацей П'єхотка

У мене були btrfs, які мені рекомендували користувачі ядра. Востаннє я знав, що обслуговуючий прилад Mercurial працює на ньому хоча б на одній машині. Я використовую ZFS через FUSE щодня, і він є твердим, якщо трохи повільним через FUSE.
durin42

1
btrfs у форматі диска ще не стабільний ... Я б не рекомендував його, поки це не зміниться. Програмісти в ядрі можуть запускати всілякі шалені речі.
ксенотеррацид

ZFS може бути стабільним ... але через ТЕПЛОВУ річ я б не переймався цим.
ксенотеррацид

1
ZFS на FUSE - це злом. Це може бути гарний злом, я б не довіряв йому для ваших важливих даних про бізнес. Крім того, ZFS на FUSE має деякі проблеми зі швидкістю, і швидкість є критичною, коли ви створюєте резервну копію терабайт даних.
Стефан Ласєвський

0

Дуже важливим аспектом, про який я не бачив обговорюваних в інших відповідях, є особливості стабільності макетів файлової системи на диску (наприклад, розгляньте консультацію з документацією можливих кандидатів ext4 , btrfs )

Хоча база даних коду та кількість тестування драйверів файлової системи кодової бази дійсно важливі, як показали інші відповіді, оскільки це захист даних під час її читання та запису , макет / формат на диску - це захист від ризиків для ваших даних. в спокої - це форми апаратних пошкоджень, такі як нечитабельні сектори або мовчазна гниття бітів .

Що стосується ext4, який, як кажуть, має хороші характеристики щодо довговірусної кодової бази ( https://events.static.linuxfound.org/sites/events/files/slides/AFL%20filesystem%20fuzzing%2C%20Vault%202016_0. pdf показує, що знаходження помилок у ньому зайняло більше часу, ніж, наприклад, у більш сучасних і складніших btrfs), я переглянув стійкість ext4 у стані спокою і виявив деякі недоліки іншої похвалити файлову систему.

Я вважаю за доцільне (якщо його обрано ext4як " твердотілу резервну копію ") для поліпшення відновлення (хоч і "загартування"), використовуючи e2imageінструмент, який розробники ext4надають

Програма e2image збереже критичні метадані файлової системи ext2, ext3 або ext4, розташовані на пристрої, у файл, визначений image-file. Файл зображень може бути досліджений dumpe2fs та debugfs, використовуючи параметр -i для цих програм. Це може допомогти експерту у відновленні катастрофічно пошкоджених файлових систем. В майбутньому e2fsck буде покращено, щоб мати можливість використовувати файл зображення для відновлення сильно пошкодженої файлової системи.

і рекомендую .

Дуже гарна ідея створити файли зображень для всіх файлових систем у системі та зберегти макет розділу (який можна створити за допомогою команди fdisk -l) через регулярні інтервали --- під час завантаження та / або щотижня або так. Файл зображень слід зберігати в іншій файловій системі, крім файлової системи, дані якої він містить, щоб забезпечити доступ до цих даних у випадку, коли файлова система була сильно пошкоджена.

Зважаючи на те, що навіть не всі метадані ext4 на макеті диска забезпечені надмірністю (тобто суперблок зберігається багаторазово як копія, індос зберігається лише в одному місці), ext4він, безумовно, поступається btrfsтому, що забезпечить принаймні контрольні суми для всі метадані + дані вмісту файлу .

Щоб протидіяти цьому "недоліку" ext4та зробити його більш rock-solidважливим у аспекті макета диска, було б доцільним доповнити це надмірність та відновлення вмісту файлу за допомогою par2/ parchive

Незважаючи на те, що питання вимагає зосередження уваги на рішеннях файлової системи, я хотів би звернути увагу на те, що більшість із того, що надає файлова система (кешування, журнали, повернення виділеного простору, виділення блоків тощо), не є обов'язковою користю для резервних даних. набагато, коли його лише пишуть і читають гуртом і rarley. Для цього я хотів би розглянути питання про використання parchiveдоповнення tarрезервного копіювання в якості більш оптимального рішення для резервного копіювання, так як кодові , використовуваних в процесі ес знижується, і , отже, менше помилок , якщо є менше «особливість».

Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.