Чи gzip атомний?

Є чи gzipатомна?

Що станеться, якщо я зупиняю gzipпроцес, поки він знаходиться в середині gzipping файла?

Якщо це не атомно, і якщо я вже натискав Ctrl + C під час gzip *.txtпроцесу, як я безпечно відновлю?

(Мені цікаво не лише відновлення відновлення, а й питання, чи gzipконкретно є атомним.)

Чи gzip атомний?

Ні. Він створює стислий файл, а потім видаляє нестиснений оригінал.

Зокрема, він не стискає файл in situ, і існує певний проміжок часу, коли файл стискається де,

• стиснута мішень неповна
• частково стислий файл та його джерело існують у файловій системі.

Що станеться, якщо я зупиняю процес gzip, поки він знаходиться в середині gzipping файла?

Якщо ви зупините gzipпроцес із сигналом, який можна вловити ( SIGINTвід Ctrl C, наприклад), він очистить частково створені файли. Інакше, залежно від того, на якому місці він зупинений, ви можете отримати частково стислий файл поряд із недоторканим оригіналом.

Якщо це не атомно, якщо я вже натиснув Ctrl + C у процесі gzip * .txt, як я безпечно відновлю?

Ви видаляєте частково стиснуту версію (якщо вона все ще існує) та перезапускаєте gzip.

Це не атомна (файлова система API Unix на насправді не забезпечують який - або спосіб для виконання атомарних операцій , які впливають на кілька файлів), але це є відмовостійкої. Стислий файл - це новий файл, він не перезаписує оригінал, і він не видаляє вихідний файл, поки не завершиться створення стисненого файлу (це насправді може спричинити проблему, якщо у вас недостатньо місця на диску для обидва файли).

Якщо він отримав помилку або ви перервали стиснення, вихідний файл залишиться незмінним. Частково стислий файл зазвичай буде видалений.

Немає можливості відновити його в середині, ви просто запускаєте його з початку.

Вам не потрібно турбуватися про це, оскільки gzipстворює новий .gzфайл, заповнює його стислим вмістом, а потім видаляє вихідний файл. Тож якщо ви зупините процес посередині, це не вплине на ваш початковий файл.

.txtфайли, які вже успішно оброблені, gzipбудуть замінені .txt.gzстиснутими файлами, тому ви можете безпечно запустити gzip *.txtзнову - стискатимуться лише ті файли, які ще не оброблені.

Файл , який оброблявся з допомогою Gzip в момент натискання Ctrl-C буде незміненій - GZIP не замінить його , поки після успішного його стиснення.

Ні, це дуже не атомічно. Це може спричинити великі проблеми, якщо ви gzip файл, який періодично додається, наприклад веб-журнал.

Gzip читає, створює .gz файл (з поточною міткою часу), копіює часову позначку оригінального файлу, а потім видаляє оригінал.

Певні перерви можуть залишити .txt.gzнеподалік незавершений файл поруч із .txtфайлом. Потім створюється проблема цілісності даних: який справжній файл? Це

• gzip, який не вдався, залишивши незавершеним / зіпсованим .txt.gz? Або
• невдалий пістолет, залишивши неповний / усічений .txtфайл? Або
• У файлі успішно зібрано файл txt.gz, а новостворений .txt файл?

(Останнє трапляється, коли ви заходите у свій каталог журналів HTTP і переходите gzip *)

Я, як правило, вважаю доцільним розбирати це вручну, якщо ви точно не знаєте, що сталося, тому що ви це просто зробили.

На щастя, gzip зазвичай працює серійно, тому у вас повинна бути ця проблема лише з одним файлом. Паралелінг gzip не є хорошою ідеєю - навіть якщо він буде використовувати процесор більш повно, він розтрощить диск, змусивши його читати відразу декілька файлів, що значно уповільнює всі gzip. SSD або RAMdisk, з іншого боку ...