Чому трубопровід `tar` у` dd` не зупиняється, поки диск не заповниться?

У мене є архів дьогтю одного образу диска. Зображення всередині цього файлу з дьогтем розміром близько 4 Гб. Я передаю висновок tar xfв ddдля запису образу диска на SD-карту. Дискодамп ніколи не зупиняється, поки карта не заповнена. Ось мій сеанс оболонки:

$ ls -l disk.img.tgz
-rw-r--r-- 1 confus confus 192M Okt  5 00:53

$ tar -tvf disk.img.tgz
-rw-r--r-- root/root 4294968320 2018-10-05 00:52 disk.img

$ lsblk -lb /dev/sdc
NAME MAJ:MIN RM        SIZE RO TYPE MOUNTPOINT
sdc    8:32   1 16022241280  0 disk

$ tar zxf disk.img.tgz -O | sudo dd status=progress conv=sync bs=1M of=/dev/sdc
[sudo] password for user: 
15992881152 bytes (16 GB, 15 GiB) copied, 212 s, 75,4 MB/s 
dd: error writing '/dev/sdc': No space left on device
0+15281 records in
15280+0 records out
16022241280 bytes (16 GB, 15 GiB) copied, 217,67 s, 73,6 MB/s

Чому? Він повинен зупинитися після того, як хіт записав зображення на 4 Гб у візок 16 Гб і ніколи не вистачить місця!

Це тому, що ти робиш це неправильно.

Ви використовуєте, bs=1Mале читання з stdin, pipe, матиме менші показання. Насправді, за даними dd, ви не отримали жодного повного читання.

І тоді ви маєте, conv=syncщо доповнює неповні читання нулями.

0+15281 records in
15280+0 records out

ddотримав 0 повних та 15281 неповних прочитаних і записав 15280 повних блоків (conv = синхронізація заповнена нулем). Тож вихід набагато більший за вхід, поки у вас не залишиться місця.

   sync   pad  every  input  block  with  NULs to ibs-size; when used with
          block or unblock, pad with spaces rather than NULs

Щоб вирішити це, ви можете видалити conv=syncта додати iflag=fullblock.

Для ілюстрації розглянемо yes, що за замовчуванням виписує нескінченне "y \ ny \ ny \ n".

$ yes
y
y
y
^C
$ yes | hexdump -C
00000000  79 0a 79 0a 79 0a 79 0a  79 0a 79 0a 79 0a 79 0a  |y.y.y.y.y.y.y.y.|
*

З dd bs=1M conv=syncцим виглядає так:

$ yes | dd bs=1M conv=sync | hexdump -C
00000000  79 0a 79 0a 79 0a 79 0a  79 0a 79 0a 79 0a 79 0a  |y.y.y.y.y.y.y.y.|
*
0001e000  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
*
00100000  79 0a 79 0a 79 0a 79 0a  79 0a 79 0a 79 0a 79 0a  |y.y.y.y.y.y.y.y.|
*
00112000  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
*

Отже, він отримує неповний блок "y \ ny \ ny \ n" (0x00000 - 0x1e000, 122880 байт), а потім записує решту 1M як нулі (0x01e000 - 0x100000, 925696 байт). У більшості випадків ви не хочете, щоб це сталося. Результат так чи інакше є випадковим, оскільки ви не маєте реального контролю над тим, наскільки виявиться неповне кожне прочитане. Як і друге читання, це вже не 122880 байт, а 73728 байт.

dd conv=syncрідко корисний і навіть у тих випадках, коли це було б бажано, як, наприклад, записувати нулі, коли ви отримуєте помилки читання, справи з цим будуть жахливо не так.