Скільки файлів у каталозі занадто багато? (Завантаження даних з мережі)

Привітання,

Я пишу кілька сценаріїв для обробки зображень з різних фото-сайтів. Зараз я зберігаю всі ці дані в окремих текстових файлах в одному каталозі.

Каталог доступний в Інтернеті. Кінцевий користувач здійснює дзвінок у веб-службу, яка повертає шлях до файлу, який користувачеві знадобиться.

Мені було цікаво, на якому етапі я б побачив вплив продуктивності, маючи всі ці файли в одному каталозі? (Якщо якийсь)

Продуктивність залежить від використовуваної файлової системи.

• FAT: забудь :) (нормально, я думаю, що обмеження - 512 файлів у каталозі)
• NTFS: Хоча він може вміщувати 4 мільярди файлів у папці, він деградує відносно швидко - близько тисячі ви почнете помічати проблеми з продуктивністю, кілька тисяч, і ви побачите, що дослідник, як видається, звисає досить довго.

• EXT3: фізичний ліміт - 32 000 файлів, але perf страждає і після кількох тисяч файлів.

• EXT4: теоретично безмежний

• ReiserFS, XFS, JFS, BTRFS: це хороші файли для багатьох файлів у каталозі, оскільки вони більш сучасні та призначені для обробки багатьох файлів (інші були розроблені ще в часи, коли жорсткі диски вимірювалися в МБ, а не ГБ) . Продуктивність набагато краща для багатьох файлів (разом із ext4), оскільки вони обидва використовують алгоритм бінарного типу пошуку для отримання потрібного файлу (інші використовують більш лінійний).

Я зберігаю зображення для обслуговування на веб-сервері, і в мене більше 300 000 зображень в одному каталозі на EXT3. Я не бачу проблем із продуктивністю. Перед тим, як налаштувати цю програму, я робив тести на 500k зображень у каталозі та випадковим чином отримував доступ до файлів по імені, і не було істотного уповільнення з 500k над 10k зображеннями в каталозі.

Єдиний недолік, який я бачу, полягає в тому, що для синхронізації нових з другим розділом я повинен пробігати rsyncвесь каталог, і не можу просто сказати, щоб він синхронізував підкаталог, що містить останню тисячу або близько того.

Кількість файлів у папці теоретично може бути необмеженою. Однак кожного разу, коли ОС отримає доступ до певної папки для пошуку файлів, доведеться обробляти всі файли в папці. Маючи менше 500 файлів, ви можете не помітити затримок. Але якщо у вас в одній папці десятки тисяч файлів, проста команда списку папок (ls чи dir) може зайняти занадто довго. Коли можна отримати доступ до цих папок через FTP, це дійсно буде занадто повільно ...

Проблеми з продуктивністю насправді не залежать від вашої ОС, а від швидкості роботи системного процесора, ємності диска та пам'яті. Якщо у вас так багато файлів, можливо, ви захочете об'єднати їх в єдиний архів і використовувати систему архівації, оптимізовану для зберігання великої кількості даних. Це може бути ZIP-файл, але ще краще - зберігати їх як краплі в базі даних з ім'ям файлу в якості основного ключа.

Моє правило - розділити папки, якщо файлів більше 1000, а папка буде переглянута (тобто через Інтернет або Провідник) або 5000 файлів в іншому випадку.

Як зазначає @skaffman, обмеження залежать від операційної системи. На вас, швидше за все, вплинуть обмеження щодо старих ОС. Пам'ятаю, стара версія Solaris була обмежена 32768 файлами в каталозі.

Звичайне рішення - використовувати якесь хешування, тобто Cyrus-сервер Imap розбиває користувачів за алфавітним хешем:

/var/spool/imap/a/user/anna/
/var/spool/imap/a/user/albert/
/var/spool/imap/d/user/dan/
/var/spool/imap/e/user/ewan/

Якщо ви безпосередньо отримуєте доступ до файлу, кількість файлів у каталозі не викликає проблем із швидкістю.

Кількість файлів, які можна створити в одному каталозі, залежить від файлової системи, яку ви використовуєте. Якщо ви перераховуєте всі файли в каталозі або шукаєте, сортуєте тощо, наявність багатьох файлів призведе до уповільнення цих операцій.

gbjbaanb помиляється у своїй відповіді про максимальний розмір файлу ext3. Зазвичай ext обмежує кількість файлів на диску. Ви не можете створити більше файлів, якщо у вашій таблиці inode є індекси. Він вірно пропонує рейзерфи для більшої продуктивності з багатьма файлами

Перевірена папка з 10K файлами в NTFS (Windows 7, 64 біт). Папка із зображеннями 10К у будь-якому вікні (Список, Піктограма тощо) працює та прокручується без розумної затримки.