Видаліть повторювані записи з файлу CSV

У мене є файл [csv] з повторним друком дубліката даних, тобто однакові дані, надруковані двічі. Я намагався використовувати sort uniq , sort myfile.csv | uniq -uоднак зміни в myfile.csv, також я намагався, sudo sort myfile.csv | uniq -uале різниці немає.

Тому наразі мій файл csv виглядає приблизно так

a
a
a
b
b
c
c
c
c
c

Я хотів би виглядати так

a
b
c

Причина цього myfile.csvне змінюється в тому, що -uопція для друку uniqбуде лише унікальні рядки. У цьому файлі всі рядки є дублікатами, тому вони не будуть надруковані.

Однак, що ще важливіше, вихід не буде збережений, myfile.csvоскільки uniqвін просто роздрукує його stdout(за замовчуванням, ваша консоль).

Вам потрібно буде зробити щось подібне:

$ sort -u myfile.csv -o myfile.csv

Параметри означають:

• -u - зберігайте лише унікальні лінії
• -o - вихід у цей файл замість stdout

Ви повинні переглянути man sortдля отримання додаткової інформації.

Як показав Белмін, сортування чудове. Його відповідь найкраще стосується несортованих даних, і їх легко запам'ятати та використовувати.

Однак він також мінливий, оскільки змінює порядок введення. Якщо вам абсолютно потрібно, щоб дані проходили в тому ж порядку, але видалення пізніших дублікатів, awk може бути кращим.

$ cat myfile.csv
c
a
c
b
b
a
c


$ awk '{if (!($0 in x)) {print $0; x[$0]=1} }' myfile.csv
c
a
b

Дивний край край, але він час від часу з’являється.

Крім того, якщо ваші дані вже відсортовані, коли ви на них кладете, ви можете просто запустити uniq.

$ cat myfile.csv 
a
a
a
b
b
c
c
c
c
c


$ uniq myfile.csv 
a
b
c

Недолік обох моїх пропозицій полягає в тому, що вам потрібно використовувати тимчасовий файл і скопіювати його назад.

uniq -u друкує лише унікальні рядки. У вашому введенні немає унікальних рядків, тому uniq -uнічого не друкуйте. Вам потрібно лише sort:

sort -u myfile.csv

Якщо ви хочете підтримувати порядок файлу (не відсортований), але все-таки видалити дублікати, ви також можете це зробити

awk '!v[$1]++' /tmp/file

Наприклад

d
d
a
a
b
b
c
c
c
c
c

Це виведе

d
a
b
c