Як Uniq недостатньо унікальний, що існує також uniq -unique?

Ось команди на випадковому файлі з pastebin :

wget -qO - http://pastebin.com/0cSPs9LR | wc -l
350
wget -qO - http://pastebin.com/0cSPs9LR | sort -u | wc -l
287
wget -qO - http://pastebin.com/0cSPs9LR | sort | uniq | wc -l
287
wget -qO - http://pastebin.com/0cSPs9LR | sort | uniq -u | wc -l
258

Сторінки людини не зрозуміли, що -uробить прапор. Будь-яка порада?

Коротка версія:

• uniq, без -u, робить кожен рядок виводу унікальним.
• uniq -uдрукує кожен унікальний рядок із вхідних даних .

Трохи довша версія:

uniqпризначений для роботи з файлами, у яких дублюються рядки, і лише тоді, коли ці рядки відображаються послідовно на вході. Отже, для своїх цілей унікальна лінія - це та, яка не дублюється одразу.

( uniqмає дуже обмежену короткочасну пам'ять; вона ніколи не запам’ятає, чи з'явився рядок раніше у введенні, якщо тільки це не був попередній рядок - саме тому uniqдуже часто спарюється sort.)

Коли він стикається із запуском повторюваних рядків, uniqбез -uаргументу друкується одна копія цього рядка. (Це робить кожен рядок виводу унікальним ).

За допомогою -uаргументу він друкує нульові копії цього рядка - запуски дублікатів просто опускаються з виводу.

uniqз -uпропусками будь-яких рядків, що мають дублікати. Таким чином:

$ printf "%s\n" 1 1 2 3 | uniq
1
2
3
$ printf "%s\n" 1 1 2 3 | uniq -u
2
3

Зазвичай uniqдрукує рядки не більше одного разу (припускаючи відсортований ввід). Цей параметр насправді друкує рядки, які є справді унікальними (вони не з’являються знову).

uniq POSIX специфікація чітко описала це:

-u
    Suppress the writing of lines that are repeated in the input.

-uваріант зробити uniqне друкувати повторні рядки.

Більшість uniqреалізацій використовували порівняння байтів, тоді як GNU uniqвикористовував порядок порівняння для фільтрації дублюваних рядків. Таким чином, це може призвести до помилкового результату в деяких локалях, наприклад в en_US.UTF-8locale:

$ printf '%b\n' '\U2460' '\U2461' | uniq
①

і не -uдав вам рядків:

$ printf '%b\n' '\U2460' '\U2461' | uniq -u
<blank>

Тому вам слід встановити локаль для Cпорівняння байтів:

$ printf '%b\n' '\U2460' '\U2461' | LC_ALL=C uniq
①
②

нормальний:

echo "a b a b c c c" | tr ' ' '\n'
a
b
a
b
c
c
c

uniq: немає двох наступних рядків, що повторюються

echo "a b a b c c c" | tr ' ' '\n' | uniq
a
b
a
b
c

відсортовано

echo "a b a b c c c" | tr ' ' '\n' | sort
a
a
b
b
c
c
c

sort -u: немає двох повторюваних рядків

echo "a b a b c c c" | tr ' ' '\n' | sort -u
a
b
c

sort / uniq: все чітко

echo "a b a b c c c" | tr ' ' '\n' | sort | uniq
a
b
c

підраховує різні події

echo "a b a b c c c" | tr ' ' '\n' | sort | uniq -c
2 a
2 b
3 c

лише рядки, які не повторюються (не сортуються спочатку)

echo "a b a b c c c" | tr ' ' '\n' | uniq -u
a
b
a
b

лише рядки, які не повторюються (після сортування)

echo "a b a b c c c Z" | tr ' ' '\n' | sort | uniq -u
Z

uniq -d: друкувати тільки дублікати рядків, по одному для кожної групи

echo "a b a b c c c" | tr ' ' '\n' | uniq -d
c

.. підраховано

echo "a b a b c c c" | tr ' ' '\n' | uniq -dc
3 c