як обробляти / архівувати / отримувати доступ до величезної кількості невеликих файлів

r я взяв на себе відповідальність за частину програмного забезпечення, яке попередньо обробляє дані в структуру глибокого каталогу мільйонів малих (48 к) файлів зі структурою, подібною до геогашу.
Переміщення та копіювання цих файлів - справжній біль.

Спочатку я хочу створити резервну копію даних в якийсь архів, щоб зменшити навантаження з файлової системи. Наступним кроком я хочу вдосконалити інструмент для роботи з архівами замість файлів.

Перша проблема виникає вже після упаковки цих файлів в архів.

Інструмент Windows zip та 7zip припиняють процес. Також інструмент zip, що постачається з gnuWin32, Zip 3.0 (July 5th 2008), by Info-Zipскасовує операціюzip error: Out of memory (local_to_display_string)

Тому я шукаю поради щодо двох питань:

1. який відповідний формат файлу архіву (і інструмент, який може обробляти цей випадок використання), що дозволяє випадковий доступ до файлів. Дані, що містяться у файлах, не повинні бути доступними випадковим чином. оскільки файли досить малі для завантаження в пам'ять.

2. Чи існує бібліотека C / C ++, яка реалізує доступ до архіву якомога ближче до нормальної обробки файлів, щоб зміни у вихідному коді були максимально можливими? У самому програмному забезпеченні використовується Qt / Boost.

Щодо відповідного формату файлу архіву, можливо, вам взагалі не потрібно його архівувати? Спробуйте використовувати tarзамість zip. Якщо це не допоможе, спробуйте організувати їх в ієрархічні структури, подібної хау gitабо squidзберігає велику кількість файлів в їх кеш - директорії, відокремлюючи верхнього рівня vs. підкаталоги другого рівня, наприклад: 16/256/64, так що ви будете мати меншу кількість непідтверджених Запити вводу / виводу при спробі відкрити ці файли.

По-друге, слід розглянути кешування, ось кілька пропозицій:

• використовувати Redis або Memcached для кешування даних, які вже були прочитані,
• спробуйте помістити їх у деяку файлову систему, наприклад, ramfs або tmpfs , щоб вона залишалася в пам'яті,
• використовувати віртуальну пам'ять пам'яті, таку, vmtouchяка може відображати файли у віртуальну пам'ять, наприклад, щоб розмістити файл у пам'яті: vmtouch -vt file123.geoабо контролювати всю папку, спробуйте:vmtouch -dl /path/dir

Однак якщо файли невеликі і вони містять певні дані (наприклад, геохаши), можливо, варто їх імпортувати в базу даних? Такі як MariaDB чи MongoDB ? А може, індексувати їх за допомогою пошуку Solr або Еластичного пошуку ? Але наприкінці все залежить від ваших конкретних технічних вимог.