Перевірте, чи всі рядки файлу є унікальними

У мене є текстовий файл, що містить такі рядки:

This is a thread  139737522087680
This is a thread  139737513694976
This is a thread  139737505302272
This is a thread  139737312270080
.
.
.
This is a thread  139737203164928
This is a thread  139737194772224
This is a thread  139737186379520

Як я можу бути впевнений у унікальності кожного рядка?

ПРИМІТКА . Мета - протестувати файл, а не змінювати його за наявності дублікатів.

[ "$(wc -l < input)" -eq "$(sort -u input | wc -l)" ] && echo all unique

Рішення Awk:

awk 'a[$0]++{print "dupes"; exit(1)}' file && echo "no dupes"

Використання sort/ uniq:

sort input.txt | uniq

Щоб перевірити лише дублікати рядків, скористайтеся -dопцією для uniq. Це покаже лише дублікати рядків, якщо жодні - нічого не буде:

sort input.txt | uniq -d

TLDR

Оригінальне запитання було незрозумілим, і читали, що ОП просто хотів унікальної версії вмісту файлу. Це показано нижче. У оновленій формі запитання ОП зараз заявляє, що він / вона просто хоче знати, чи вміст файлу унікальний чи ні.

Перевірте, чи вміст файлу унікальний чи ні

Ви можете просто скористатися, sortщоб перевірити, чи файл унікальний чи містить такі дублікати:

$ sort -uC input.txt && echo "unique" || echo "duplicates"

Приклад

Скажіть, у мене є ці два файли:

$ cat dup_input.txt
This is a thread  139737522087680
This is a thread  139737513694976
This is a thread  139737505302272
This is a thread  139737312270080
This is a thread  139737203164928
This is a thread  139737194772224
This is a thread  139737186379520

$  cat uniq_input.txt
A
B
C
D

Тепер, коли ми аналізуємо ці файли, ми можемо визначити, чи вони унікальні чи містять дублікати:

$ sort -uC dup_input.txt && echo "unique" || echo "duplicates"
duplicates

$ sort -uC uniq_input.txt && echo "unique" || echo "duplicates"
unique

Оригінальне запитання (унікальний вміст файлу)

Можна зробити лише sort:

$ sort -u input.txt
This is a thread  139737186379520
This is a thread  139737194772224
This is a thread  139737203164928
This is a thread  139737312270080
This is a thread  139737505302272
This is a thread  139737513694976
This is a thread  139737522087680

Я зазвичай sortфайл, потім використовую uniqдля підрахунку кількості дублікатів, потім sortще раз бачу дублікати внизу списку.

Я додав один дублікат до наданих вами прикладів:

$ sort thread.file | uniq -c | sort
      1 This is a thread  139737186379520
      1 This is a thread  139737194772224
      1 This is a thread  139737203164928
      1 This is a thread  139737312270080
      1 This is a thread  139737513694976
      1 This is a thread  139737522087680
      2 This is a thread  139737505302272

Оскільки я uniqдеякий час не читав сторінку чоловіка , я швидко знайшов альтернативи. Далі виключається необхідність другого сортування, якщо ви просто хочете побачити дублікати:

$ sort thread.file | uniq -d
This is a thread  139737505302272

Якщо немає дублікатів, всі рядки унікальні:

[ "$(sort file | uniq -d)" ] && echo "some line(s) is(are) repeated"

Опис: Сортуйте рядки файлів, щоб повторні рядки були послідовними (сортування)
Витягніть всі послідовні рядки, що є рівними (uniq -d).
Якщо є якийсь результат команди вище ( [...]), то ( &&) надрукуйте повідомлення.

Це не було б повним без відповіді Perl!

$ perl -ne 'print if ++$a{$_} == 2' yourfile

Це надрукує кожен не унікальний рядок один раз: тому якщо він нічого не друкує, то у файлу є всі унікальні рядки.

Використання cmpта sortвведення bash:

cmp -s <( sort file ) <( sort -u file ) && echo 'All lines are unique'

або

if cmp -s <( sort file ) <( sort -u file )
then
    echo 'All lines are unique'
else
    echo 'At least one line is duplicated'
fi

Це би сортувало файл двічі, як і прийнята відповідь.