файлова система для мільйонів невеликих файлів

Яку файлову систему Linux ви вибрали для найкращої швидкості у наступному сценарії:

• сто мільйонів файлів
• ~ 2k розмір файлу в середньому
• > 95% доступу для читання
• досить випадковий доступ
• висока конкурентоспроможність (> 100 процесів)

Примітка . Файли зберігаються у глибокому ієрархічному дереві, щоб уникнути великих каталогів. Кожен каталог листів містить близько тисячі файлів.

Як би ви це орієнтували?

Ось кілька результатів, порівнюючи всі основні Linux FSes з bonnie ++, які ви можете використовувати як вихідну точку.

З точки зору випадкових прагнень виграє Рейзер, за ним EXT4, а потім JFS. Я не впевнений, чи точно це буде співвідноситись з пошуковими каталогами, але, здається, це було б показником. Для цього вам доведеться робити власні тести. EXT2 відбиває штани за все час створення файлів, ймовірно, через відсутність журналу, все-таки EXT4 б'є все, окрім Рейзера, який ви, можливо, не захочете використовувати через поточний статус hans reiser.

Ви можете заглянути в диски, що підтримують NCQ, і переконайтесь, що ваша установка налаштована для його використання. При важких пошуках він повинен забезпечити підвищення швидкості.

Нарешті, переконайтеся, що у вашій машині є тонна барана. Оскільки файли не часто оновлюються, Linux в кінцевому підсумку кеширує більшість з них у рамковому режимі, якщо у нього є вільне місце. Якщо ваші схеми використання правильні, це дасть вам значне збільшення швидкості.

Я згоден з більшістю сказаного Ендрю, за винятком того, що я рекомендував би Reiser4 або старіший (але краще підтримуваний) ReiserFS . Як свідчать ці тести (та документація для ReiserFS), він розроблений для чіткої ситуації, про яку ви запитуєте (велика кількість невеликих файлів чи каталогів). Раніше я використовував ReiserFS з Gentoo та Ubuntu без проблем.

Щодо статусу Ганса Райзера, я не вважаю це проблемою з кодом або стабільністю самої файлової системи. Reiser4 навіть спонсорується як DARPA, так і Linspire, тому, погоджуючись з тим, що подальший розвиток файлової системи Reiser не визначений, я не маю на увазі, що це повинно бути вирішальним фактором, чи повинен хтось ним користуватися чи ні.

Я знаю, що це не пряма відповідь на ваше запитання, але в цих випадках я думаю, що база даних може бути більш підходящою для цього. Невеликі файли можна зберігати у двійковому форматі в таблиці бази даних та отримувати у wil. Програмне забезпечення, яке використовує ці файли, повинно підтримувати це, хоча ...

Хтось із Unix StackExchange створив орієнтир (з джерелом) для перевірки саме цього сценарію:

З: Яка найефективніша файлова система Linux для зберігання безлічі малих файлів (HDD, а не SSD)?

Найкраща вистава для читання, здається, приходить від ReiserFS.

На мій досвід, ext2 видуває ext4 з води для невеликих файлів. Якщо ви не дбаєте про цілісність запису, це чудово. Наприклад, субверсія створює багато-багато і багато невеликих файлів, на яких ext4 та інші файлові системи (XFS) задушуються (виконайте завдання cron, яке rsyncs даних для ext4 з ext2 кожні півгодини або близько того практично вирішує проблему.)

Запуск цих команд робить ext2 ще швидшим (навіть незважаючи на те, що більшість із цих параметрів робить файлову систему нестабільною після збоїв, якщо ви не запустите синхронізацію до її виходу з ладу). Ці команди майже не впливають на ext4 з невеликими файлами.

echo 15 > /proc/sys/vm/swappiness
echo 10 > /proc/sys/vm/vfs_cache_pressure
echo 99 > /proc/sys/vm/dirty_ratio
echo 50 > /proc/sys/vm/dirty_background_ratio
echo 360000 > /proc/sys/vm/dirty_expire_centisecs
echo 360000 > /proc/sys/vm/dirty_writeback_centisecs
echo "2000" > /proc/sys/vm/vfs_cache_pressure

Я думаю, ext3 (або ext4), можливо, JFS було б гарним рішенням. Я б насторожено ставився до ext4 та btrfs (файлові системи складні - будьте готові до створення резервних копій, якщо ви хочете використовувати найновіші, новітні матеріали).

Існують також різні параметри, які ви можете налаштувати під час mkfs, щоб налаштувати файлову систему на свій смак.

Я б точно рекомендував проти XFS. Не тому, що це погана файлова система, але створення / видалення - це дорога операція на ній.

Щоб уникнути проблем із пошуком у каталозі, використовуйте інтелектуальну схему іменування, наприклад:

<first letter of id>_<last letter of id>/<id>

або подібні, більш складні схеми. Це прискорить пошук у вашому каталозі і, таким чином, загальну швидкість доступу. (Це старий трюк Unix, назад від V7 я думаю)

Більшість FS задихнеться з більш ніж 65 К файлами в режимі, я думаю, що це все ще стосується ext4. У файлових системах Рейзера немає такої межі (люди в mp3.com платять, щоб переконатися в цьому). Не впевнений ні в чому іншому, але це один із сценаріїв використання, для якого був створений ReiserFS.