Яка найефективніша файлова система Linux для зберігання безлічі малих файлів (HDD, а не SSD)?

У мене є дерево каталогів, яке містить багато невеликих файлів і невелику кількість великих файлів. Середній розмір файлу - близько 1 кілобайт. У дереві є 210158 файлів і каталогів (це число було отримано запуском find | wc -l).

Невеликий відсоток файлів додається / видаляється / переписується кілька разів на тиждень. Це стосується невеликих файлів, а також великих файлів (невеликої кількості).

Файлові системи, які я спробував (ext4, btrfs), мають деякі проблеми з позиціонуванням файлів на диску. З плином часу фізичні положення файлів на диску (носій, що обертається, а не твердотілий диск) стають більш розподіленими випадковим чином. Негативним наслідком цього випадкового розподілу є те, що файлова система стає повільнішою (наприклад: у 4 рази повільніше, ніж свіжа файлова система).

Чи існує файлова система Linux (або метод підтримки файлової системи), який не потерпає від зниження поглинання продуктивності та здатний підтримувати стабільний профіль продуктивності на обертовому носії? Файлова система може працювати на Fuse, але вона повинна бути надійною.

Продуктивність

Я написав невеликий бенчмарк ( джерело ), щоб дізнатися, яка файлова система найкраще працює зі ста тисячами невеликих файлів:

• створити 300000 файлів (512B до 1536B) з даними з / dev / urandom
• переписати 30000 випадкових файлів і змінити розмір
• читати 30000 послідовних файлів
• прочитати 30000 випадкових файлів

• видалити всі файли

• синхронізувати та скинути кеш-пам'ять після кожного кроку

Результати (середній час у секундах, нижчий = кращий):

Using Linux Kernel version 3.1.7
Btrfs:
    create:    53 s
    rewrite:    6 s
    read sq:    4 s
    read rn:  312 s
    delete:   373 s

ext4:
    create:    46 s
    rewrite:   18 s
    read sq:   29 s
    read rn:  272 s
    delete:    12 s

ReiserFS:
    create:    62 s
    rewrite:  321 s
    read sq:    6 s
    read rn:  246 s
    delete:    41 s

XFS:
    create:    68 s
    rewrite:  430 s
    read sq:   37 s
    read rn:  367 s
    delete:    36 s

Результат:
Хоча Ext4 мав хорошу загальну продуктивність, ReiserFS був надзвичайно швидким при читанні послідовних файлів. Виявилося, що XFS повільний з багатьма невеликими файлами - не слід використовувати його для цього випадку використання.

Випуск фрагментації

Єдиний спосіб запобігти розповсюдженню файлових систем через накопичувач - це зберегти розділ настільки великим, наскільки він вам справді потрібен, але зверніть увагу на те, щоб не зробити розділ занадто малим, щоб запобігти фрагментації внутрішньофайлів. Використання LVM може бути дуже корисним.

Подальше читання

В Arch Wiki є кілька чудових статей, що стосуються продуктивності файлової системи:

https://wiki.archlinux.org/index.php/Beginner%27s_Guide#Filesystem_types

https://wiki.archlinux.org/index.php/Maximizing_Performance#Storage_devices

Я використовую ReiserFS для цього завдання, він спеціально створений для обробки багатьох невеликих файлів. Текст про це легко прочитати на wiki funtoo.

ReiserFS також має безліч функцій, спрямованих спеціально на покращення продуктивності невеликих файлів. На відміну від ext2, ReiserFS не виділяє місця для зберігання у фіксованих блоках одного k або чотирьох k. Натомість він може виділити потрібний розмір.

Продуктивність ext4 знижується після 1-2 мільйонів файлів у каталозі. Дивіться цю сторінку http://genomewiki.ucsc.edu/index.php/File_system_performance, створену Хірамом Клавсоном в UCSC

XFS відзначається тим, що дуже добре виступає в подібній ситуації. Це частина того, чому ми використовуємо його у своїй роботі для наших магазинів пошти (які можуть містити сотні тисяч файлів в 1 каталозі). Він має кращу стійкість до відмов, ніж ReiserFS, використовується в набагато ширшому застосуванні і, як правило, дуже зріла файлова система.

Крім того, XFS підтримує дефрагментацію в Інтернеті. Хоча він використовує техніку уповільненого розподілу, що призводить до меншої фрагментації (проти інших файлових систем) для початку.