Будь-яке обмеження щодо наявності багатьох файлів у каталозі в Mac OS X?

У мене в моєму MacOS X 100 000+ файлів у каталозі, і здається, що мій сценарій повільно читає файл у них.

Чи є якесь обмеження чи рекомендація мати стільки файлів? Чи повинен я розділити їх на деякі каталоги?

Я знайшов обмеження, що я не можу mv * fooдля всіх 100 000 файлів. Він показує помилку: "Занадто довгий аргумент". Він працює з приблизно менш ніж 20000 файлів.

Відповідно до цієї відповіді на переповнення стека та конкретних деталей на сайті Apple , окрема папка може містити до 2,1 мільярда елементів.

Це означає, що те, що він може вмістити до 2,1 млрд. Предметів, не означає, що він може підтримувати продуктивність на цьому рівні. Згідно Вікіпедії ; акцент мій:

Файл каталогів, який зберігає всі записи файлів і каталогів в одній структурі даних, призводить до проблем з продуктивністю, коли система дозволяє багатозадачність, оскільки лише одна програма може записувати до цієї структури одночасно, тобто багато програм можуть чекати в черзі завдяки одній програмі, що "зависла" система. Також це серйозне занепокоєння щодо надійності, оскільки пошкодження цього файлу може знищити всю файлову систему.

Таким чином, продуктивність природно знижується завдяки тому, що файл каталогу може використовуватись лише однією програмою за один раз. І якщо каталог зростає в розмірі, ризик / деградація, викликана цією проблемою, лише посилиться; більше файлів означає більше шансів для програм отримати доступ до файлів у цьому каталозі. Подальше підтвердження цієї ідеї тут ; знову акцент мій:

Файл каталогів - складна структура. Оскільки він зберігає всю інформацію про файли та каталоги, він примушує серіалізацію файлової системи - не ідеальна ситуація, коли існує велика кількість потоків, які хочуть виконати введення / виведення файлів. У HFS будь-яка операція, яка створює файл або модифікує файл будь-яким способом, повинна блокувати файл каталогу, що не дозволяє іншим потокам отримати доступ до файлу каталогу лише для читання. Доступ до файлу каталогу повинен бути однократним / багатопрочитаним.

Короткий відповідь: Ну, якщо ви читаєте 100 000 файлів, я можу очікувати, що сценарій буде повільним.

Довга відповідь: Щоб відповісти на це питання більш ретельно, вам слід переглянути файлову систему на Mac. Маки використовують HFS + ( Ієрархічна файлова система Plus ) - сучасна файлова система, яка має обмеження, але лише в екстремальних ситуаціях.

З мого досвіду, це дуже нагадує файлову систему журналу Linux EXT. Він підтримує встановлення каталогів, UNIX-подібних дозволів тощо. Він адресував файли у 32-бітному форматі, що забезпечує максимальну кількість файлів, які можуть зберігатися в обсязі 4 294 967 295, згідно з цим джерелом.

Файлова система починає розбиватися на файли розміром більше 8 ЕБ в сучасних системах і до 2,1 мільярдів файлів і папок в одному місці, як зазначено тут .

Зважаючи на те, як HFS + - чи справді будь-яка файлова система налаштована з цього приводу - маючи багато файлів у папці, нічого не слід робити "дивним".

Чесно кажучи, я не думаю, що не буде покращення продуктивності розподілу файлів по складнішій ієрархії папок. Насправді ця методика може бути менш ефективною, оскільки ваш сценарій повинен буде робити дзвінки, щоб змінити каталоги в середині процесу.