Як перетворити образ диска Linux у розріджений файл?

На розділі EXT у мене є маса зображень на дисках, зроблених за допомогою ddrescue, і я хочу зменшити їх розмір, не втрачаючи даних, будучи все ще монтуваними.

Як я можу заповнити порожній простір у файловій системі зображення нулями, а потім перетворити файл у розріджений файл, щоб цей порожній простір фактично не зберігався на диску?

Наприклад:

> du -s --si --apparent-size Jimage.image 
120G Jimage.image
> du -s --si Jimage.image 
121G Jimage.image

Насправді це лише 50G реальних даних, але друге вимірювання має бути значно меншим.

Це нібито заповнить порожній простір нулями:

cat /dev/zero > zero.file
rm zero.file

Але якщо з розрідженими файлами обробляється прозоро , це може фактично створити розріджений файл, не записуючи нічого на віртуальний диск, іронічно заважаючи мені перетворити зображення віртуального диска в самий розріджений файл. :) Робить це?

Примітка. Чомусь це sudo dd if=/dev/zero of=./zero.fileпрацює, коли catне встановлено зображення, встановлене на диску.

Перш за все, розріджені файли обробляються прозоро, лише якщо ви шукаєте, а не якщо ви записуєте нулі.

Щоб зробити це більш зрозумілим, приклад з Вікіпедії

dd if=/dev/zero of=sparse-file bs=1k count=0 seek=5120

нічого НЕ писати ніяких нулів, він буде відкрити вихідний файл, шукати (перестрибнути) 5МБИ , а потім записати нульові нулі (тобто взагалі нічого). Ця команда ( не з Вікіпедії)

dd if=/dev/zero of=sparse-file bs=1k count=5120

напише 5 Мб нулів і не створить розріджений файл!

Як наслідок, файл, який вже не є рідким, пізніше не стане магічним.

По- друге, щоб зробити файл з великою кількістю нулів розрідженим, ви повинні сп це

cp --sparse=always original sparsefile

або ви можете також використовувати опцію tar - або rsync --sparse.

Мабуть, найпростішим способом розшарування файлу на місці було б використання fallocateутиліти наступним чином:

fallocate -v --dig-holes {file_name}

fallocate (1) надається пакетом util-linux на Debian .

Редагування моєї відповіді для повноти:

1. На повітряній кулі порожній простір FS з нулями (УВАГА: це змінює зображення вашого диска):

losetup --partscan --find --show disk.img

Припустимо, він дає / dev / loop1 як диск, і є лише один розділ, інакше нам потрібно повторити це для кожного розділу з встановленим FS в ньому (ігноруйте swap-розділ тощо).

mkdir -p /mnt/tmp mount /dev/loop1p1 /mnt/tmp dd if=/dev/zero of=/mnt/tmp/tempfile

Нехай це закінчується програванням ENOSPC.

/bin/rm -f /mnt/tmp/tempfile umount /mnt/tmp losetup -d /dev/loop1

2. Скопіюйте у розріджене зображення:

'dd' має можливість перетворити файл з нулями в розріджений файл:

dd if=disk.img of=disk-sparse.img conv=sparse

Ви маєте на увазі, що ваше зображення, створене ddrescue, становить, наприклад, 50 Гб, а насправді чогось набагато менше вистачить?

Якщо це так, не могли б ви спершу створити нове зображення з dd:

dd if=/dev/zero of=some_image.img bs=1M count=20000

а потім створити в ній файлову систему:

mkfsofyourchoice some_image.img

то просто змонтуйте зображення та скопіюйте все зі старого зображення на нове? Це могло б працювати для вас?

PartImage може створювати образи диска, які зберігають лише використані блоки файлової системи, тим самим різко скорочуючи необхідний простір, ігноруючи невикористаний блок. Я не думаю, що ви можете безпосередньо монтувати отримані зображення, але йдучи:

image -> partimage -> image -> cp --sparse=alway

Потрібно створити те, що ви хочете (можливо, можливо навіть виконати останній крок, не намагалися).

Зараз є інструмент під назвою virt-sparsify, який це зробить. Він заповнює порожній простір нулями, а потім копіює зображення в розріджений файл. Однак для цього потрібно встановити багато залежностей.

Я підозрюю, що вам потрібна спеціальна програма, написана до цієї специфікації, якщо це дійсно те, що ви хочете зробити. Але це ...?

Якщо у вас дійсно багато областей, що мають нуль, то будь-який хороший інструмент стиснення значно знизить його. І спроба запису розріджених файлів не спрацює у всіх випадках. Якщо я пам'ятаю правильно, навіть розріджені файли займають мінімум 1 блок вихідного сховища, де вхідний блок містить БУДЬ-які біти, які не є нульовими. Наприклад - скажімо, у вас був файл із середнім рівним рівнем 1 нульовий біт на 512 байтовий блок - його неможливо записати "рідко". До речі, ви не збираєтеся втрачати дані, якщо стиснути файл за допомогою zip, bzip, bzip2 або p7zip. Вони не схожі на стиснення mpeg або jpeg, що є втратним.

З іншого боку, якщо вам потрібно зробити випадкові запити читання у файл, тоді стиснення може бути більшим клопотом, ніж це коштує, і ви повернетесь до розрідженого запису. Грамотний програміст C або C ++ повинен мати можливість написати щось подібне за годину чи менше.