Додайте величезні файли один до одного, не копіюючи їх

На диску залишається 5 величезних файлів (file1, file2, .. file5) приблизно 10 Г кожен і надзвичайно мало вільного місця, і мені потрібно об'єднати всі ці файли в один. Немає необхідності зберігати оригінальні файли, лише остаточні.

Звичайне з'єднання відбувається catв послідовності для файлів file2.. file5:

cat file2 >> file1 ; rm file2

На жаль, цей спосіб вимагає принаймні 10G вільного місця у мене немає. Чи є спосіб об'єднати файли без фактичного їх копіювання, але скажіть файловій системі якось, що файл1 не закінчується на початковому кінці file1 і продовжується при запуску file2?

пс. файлова система є ext4, якщо це має значення.

AFAIK (на жаль) неможливо врізати файл з самого початку (це може бути справедливо для стандартних інструментів, але для рівня syscall див. Тут ). Але додавши деяку складність, ви можете використовувати звичайне обрізання (разом із розрідженими файлами): Ви можете записувати до кінця цільового файлу, не записуючи між собою всі дані.

Припустимо, спочатку обидва файли мають рівно 5 Гбіт (5120 МБ), і ви хочете перемістити 100 МБ одночасно. Ви виконуєте цикл, який складається з

1. копіювання одного блоку з кінця вихідного файлу до кінця цільового файлу (збільшення споживаного дискового простору)

2. обрізка вихідного файлу одним блоком (звільнення місця на диску)

   for((i=5119;i>=0;i--)); do
     dd if=sourcefile of=targetfile bs=1M skip="$i" seek="$i" count=1
     dd if=/dev/zero of=sourcefile bs=1M count=0 seek="$i"
   done
   

Але спробуйте спочатку з меншими тестовими файлами, будь ласка ...

Можливо, файли не мають однакового розміру, ні кратні розміри блоку. У цьому випадку розрахунок компенсацій стає складнішим. seek_bytesі їх skip_bytesслід використовувати тоді.

Якщо це шлях, який ви хочете пройти, але вам потрібна допомога щодо деталей, тоді запитайте знову.

Увага

Залежно від ddрозміру блоку отриманий файл буде кошмаром фрагментації.

Замість того, щоб вибирати файли разом в один файл, можливо, імітуйте один файл із названою трубкою, якщо ваша програма не може обробляти декілька файлів.

mkfifo /tmp/file
cat file* >/tmp/file &
blahblah /tmp/file
rm /tmp/file

Як підказує Хоук, losetup / dmsetup також може працювати. Швидкий експеримент; Я створив 'file1..file4' і, доклавши трохи зусиль, зробив:

for i in file*;do losetup -f ~/$i;done

numchunks=3
for i in `seq 0 $numchunks`; do
        sizeinsectors=$((`ls -l file$i | awk '{print $5}'`/512))
        startsector=$(($i*$sizeinsectors))
        echo "$startsector $sizeinsectors linear /dev/loop$i 0"
done | dmsetup create joined

Тоді, / dev / dm-0 містить віртуальний блок пристрою з вашим файлом як вмістом.

Я цього не перевірив добре.

Ще одна редакція: розмір файлу повинен бути розділений рівномірно на 512, або ви втратите деякі дані. Якщо так, то ви добрі. Я бачу, він також зазначив, що нижче.

Вам доведеться записати щось, що копіює дані в пучки, які є не менше, ніж кількість вільного місця. Це має працювати так:

• Прочитайте блок даних із file2(використовуючи pread()пошук перед прочитаним у потрібне місце).
• Додайте блок до file1.
• Використовуйте fcntl(F_FREESP)для розміщення місця з file2.
• Повторіть

Я знаю, що це скоріше вирішення проблеми, ніж те, про що ви просили, але це піклується про вашу проблему (і з невеликою роздробленістю чи головою):

#step 1
mount /path/to/... /the/new/fs #mount a new filesystem (from NFS? or an external usb disk?)

і потім

#step 2:
cat file* > /the/new/fs/fullfile

або, якщо ви думаєте, що стиснення допоможе:

#step 2 (alternate):
cat file* | gzip -c - > /the/new/fs/fullfile.gz

Потім (і ТІЛЬКИ тоді), нарешті

#step 3:
rm file*
mv /the/new/fs/fullfile  .   #of fullfile.gz if you compressed it