файлова система для архівування

У моїй файловій системі є деякі складні дані лише для читання. Він містить тисячі знімків певних версій сховища svn та результати регресійних тестів. Ідентичні файли між знімками вже повторюються за допомогою жорстких посилань. Таким чином, об'єм пам’яті не повинен бути великим, але він все-таки витрачає багато вкладень, і це робить fsck болісно довгим для моєї основної файлової системи.

Я хотів би перенести ці дані в іншу файлову систему, щоб вони не впливали на основну файлову систему занадто сильно. Чи є у вас пропозиції? Squashfs, здається, є можливим вибором, але мені доведеться перевірити, чи здатні вони ефективно працювати з жорсткими посиланнями.

Якщо це abot fsck slowness, ви спробували ext4? Вони додали кілька функцій, які роблять fsck дійсно швидким , не дивлячись на невикористані вставки :

Fsck - це дуже повільна робота, особливо перший крок: перевірка всіх входів у файловій системі. У Ext4 наприкінці таблиці індесів кожної групи буде зберігатися список невикористаних входів (із контрольною сумою для безпеки), тому fsck не перевірятиме ці входи. У результаті виходить, що загальний час fsck покращується від 2 до 20 разів, залежно від кількості використовуваних входів (http://kerneltrap.org/Linux/Improving_fsck_Speeds_in_Ext4). Потрібно зауважити, що саме список fsck, а не Ext4 буде складати список невикористаних входів. Це означає, що вам потрібно запустити fsck, щоб отримати список невикористаних inode, і тільки наступний запуск fsck буде швидшим (вам потрібно передати fsck для того, щоб перетворити файлову систему Ext3 в Ext4 в будь-якому випадку). Є також функція, яка бере участь у цьому fsck прискоренні - "гнучкі блокові групи"

Btrfs має вбудовану підтримку знімків, тому вам не доведеться використовувати жорсткі посилання для дедуплікації. Ви можете відтворити свою поточну установку, створивши файлову систему btrfs та завантаживши її найшвидшою редакцією, яка вам потрібна, та зробивши знімок, а потім перегляньте сховище вперед до кожного моменту, коли вам потрібен знімок та зйомка у кожний момент. крок. Це повинно бути більш ефективним, ніж жорсткі посилання, і простішим у налаштуванні.

Я також вважаю (хоча я далеко не впевнений у цьому), що squashfs прозоро розмножує файли, тому навіть якщо він не обробляє жорсткі посилання, ви все одно побачите переваги. Якщо вам ніколи не потрібно змінювати дані у файловій системі, то squashfs - це, мабуть, шлях, оскільки fsck може бути замінений md5sum;)

Я вважаю за краще XFS, оскільки у мене дуже хороший досвід роботи з цією файловою системою. Але я дуже рекомендую зробити тест зі своїми даними та всіма запропонованими файловими системами.

Мені відомо кілька магазинів, які використовують DataDomain саме для цієї мети.

Ваш архівний скрипт може бути дуже простим (наприклад, tar або rsync та cron), і вам не потрібно турбуватися про керування жорсткими посиланнями або каталогами, які не можуть бути жорсткими посиланнями в більшості файлових систем. Не потрібно додаткової копії, крім збереження пропускної здатності. Вся магія відбувається під блочним шаром. Незвичайно розміщення віртуальних даних вартістю 15-20 ТБ, використовуючи лише реальний дисковий простір на суму 1-2 ТБ. У вас ще залишиться багато для резервного копіювання вашого диска.

Дані надаватимуться через NFS або iSCSI, але я не впевнений, чи це проблема

Коли FreeBSD отримає ZFS v23, для нас залишиться дедуплікація.