Чому мій відсортований файл більший?

У мене є текстовий файл 2958616 байт. Під час запуску sort < file.txt | uniq > sorted-file.txtя отримую текстовий файл 3213965 байт. Чому мій сортований текстовий файл більший?

Ви можете завантажити текстові файли тут .

Хоча ваш оригінальний файл містить рядки, які закінчуються \n, у вашому сортованому файлі є \r\n. Доповнення того \r, що змінює розмір.

Для ілюстрації, ось що відбувається, коли я запускаю вашу команду в моїй системі Linux:

$ sort < file.txt | uniq > sorted-file.linux.txt
$ ls -l file.txt sorted-file.linux.txt 
-rw-r--r-- 1 terdon terdon 2958616 Jul 10 12:11 file.txt
-rw-r--r-- 1 terdon terdon 2942389 Jul 10 15:15 sorted-file.linux.txt
$ wc -l file.txt sorted-file.linux.txt 
273882 file.txt
271576 sorted-file.linux.txt

Як бачите, відсортований зніманий файл на кілька рядків коротший і, отже, на кілька байт менший. Однак ваш файл відрізняється:

$ wc -l sorted-file.linux.txt sorted-file.txt 
271576 sorted-file.linux.txt
271576 sorted-file.txt

Два файли мають рівно однакову кількість рядків, але:

$ ls -l file.txt sorted-file.linux.txt sorted-file.txt 
-rw-r--r-- 1 terdon terdon 2958616 Jul 10 12:11 file.txt
-rw-r--r-- 1 terdon terdon 2942389 Jul 10 15:15 sorted-file.linux.txt
-rw-r--r-- 1 terdon terdon 3213965 Jul 10 12:11 sorted-file.txt

Той sorted-file.txt, який я завантажив із вашого посилання, більший. Якщо ми зараз вивчимо перший рядок, ми можемо побачити зайвий \r:

$ head -n1 sorted-file.txt | od -c
0000000   a  \r  \n
0000003

Яких немає в тому, який я створив у Linux:

$ head -n1 sorted-file.linux.txt | od -c
0000000   a  \n
0000002

Якщо ми зараз видалимо \rфайл із вашого файлу:

$ tr -d '\r' < sorted-file.txt > new-sorted-file.txt

Ми отримуємо очікуваний результат - файл, менший від оригіналу, як і той, який я створив у своїй системі:

$ ls -l sorted-file.linux.txt new-sorted-file.txt file.txt
-rw-r--r-- 1 terdon terdon 2958616 Jul 10 12:11 file.txt
-rw-r--r-- 1 terdon terdon 2942389 Jul 10 15:19 new-sorted-file.txt
-rw-r--r-- 1 terdon terdon 2942389 Jul 10 15:15 sorted-file.linux.txt

hexdump розкриває це!

$ hexdump -cn 32 file.txt 
0000000   a   d   h   d  \n   a   d   s   l  \n   a   m   v   b  \n   a
0000010   o   v  \n   a   o   w  \n   a   r   o   b  \n   a   s   f   a
0000020

$ hexdump -cn 32 my-sorted.txt 
0000000   a  \n   a   a  \n   a   a   a  \n   a   a   d  \n   a   a   d
0000010   s  \n   a   a   f   j   e  \n   a   a   f   j   e   s  \n   a
0000020 

$ hexdump -cn 32 sorted-file.txt 
0000000   a  \r  \n   a   a  \r  \n   a   a   a  \r  \n   a   a   d  \r
0000010  \n   a   a   d   s  \r  \n   a   a   f   j   e  \r  \n   a   a
0000020   

Ваш відсортований файл більший, оскільки він використовує закінчення рядків Windows \r\n(два байти) замість закінчень рядків Linux \n(один байт).

Можливо, ви виконували цю команду вище під Windows, використовуючи такі інструменти, як cygwinабо нову підсистему Linux для Windows 10? Або ти, можливо, щось запустив у Wine?