Чи є спосіб "uniq" за стовпцем?

У мене є такий файл .csv:

stack2@example.com,2009-11-27 01:05:47.893000000,example.net,127.0.0.1
overflow@example.com,2009-11-27 00:58:29.793000000,example.net,255.255.255.0
overflow@example.com,2009-11-27 00:58:29.646465785,example.net,256.255.255.0
...

Мені потрібно видалити дублікати електронних листів (весь рядок) з файлу (тобто одну з рядків, що містяться overflow@example.comу наведеному вище прикладі). Як використовувати uniqлише поле 1 (розділене комами)? Відповідно man, uniqнемає опцій для стовпців.

Я щось спробував, sort | uniqале не виходить.

sort -u -t, -k1,1 file

• -u для унікальних
• -t, значить, кома є роздільником
• -k1,1 для ключового поля 1

Результати тесту:

overflow@domain2.com,2009-11-27 00:58:29.793000000,xx3.net,255.255.255.0 
stack2@domain.com,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1 

awk -F"," '!_[$1]++' file

• -F встановлює роздільник поля.
• $1 є першим полем.
• _[val]шукає valв хеші _(звичайна змінна).
• ++ приріст і повернути старе значення.
• ! повертає логічно не.
• в кінці є неявна друк.

Розглянути декілька стовпців.

Сортування та надання унікального списку на основі стовпця 1 та стовпця 3:

sort -u -t : -k 1,1 -k 3,3 test.txt

• -t : товста кишка - роздільник
• -k 1,1 -k 3,3 на основі 1 та 3

або якщо ви хочете використовувати uniq:

<mycvs.cvs tr -s ',' ' ' | awk '{print $3" "$2" "$1}' | uniq -c -f2

дає:

1 01:05:47.893000000 2009-11-27 tack2@domain.com
2 00:58:29.793000000 2009-11-27 overflow@domain2.com
1

Якщо ви хочете зберегти останній з дублікатів, який ви можете використати

 tac a.csv | sort -u -t, -r -k1,1 |tac

Яка була моя вимога

тут

tac поверне файл рядок за рядком

Ось дуже витончений спосіб.

Спочатку відформатуйте вміст таким чином, щоб стовпець, який слід порівнювати за унікальністю, був фіксованою шириною. Один із способів зробити це - використовувати awk printf зі специфікатором ширини поля / стовпців ("% 15s").

Тепер параметри -f і -w uniq можна використовувати для пропускання попередніх полів / стовпців та для визначення ширини порівняння (ширини стовпців).

Ось три приклади.

У першому прикладі ...

1) Тимчасово зробіть стовпчик, що цікавить, фіксовану ширину більше або рівну максимальній ширині поля.

2) Використовуйте параметр -f uniq, щоб пропустити попередні стовпці, і використовуйте параметр -w uniq для обмеження ширини на tmp_fixed_width.

3) Видаліть пробіли з стовпця, щоб "відновити" його ширину (якщо при цьому раніше не було пробілів).

printf "%s" "$str" \
| awk '{ tmp_fixed_width=15; uniq_col=8; w=tmp_fixed_width-length($uniq_col); for (i=0;i<w;i++) { $uniq_col=$uniq_col" "}; printf "%s\n", $0 }' \
| uniq -f 7 -w 15 \
| awk '{ uniq_col=8; gsub(/ */, "", $uniq_col); printf "%s\n", $0 }'

У другому прикладі ...

Створіть новий стовпчик uniq 1. Потім видаліть його після застосування фільтра uniq.

printf "%s" "$str" \
| awk '{ uniq_col_1=4; printf "%15s %s\n", uniq_col_1, $0 }' \
| uniq -f 0 -w 15 \
| awk '{ $1=""; gsub(/^ */, "", $0); printf "%s\n", $0 }'

Третій приклад такий же, як і другий, але для кількох стовпців.

printf "%s" "$str" \
| awk '{ uniq_col_1=4; uniq_col_2=8; printf "%5s %15s %s\n", uniq_col_1, uniq_col_2, $0 }' \
| uniq -f 0 -w 5 \
| uniq -f 1 -w 15 \
| awk '{ $1=$2=""; gsub(/^ */, "", $0); printf "%s\n", $0 }'

ну, простіше, ніж ізолювати стовпець awk, якщо вам потрібно видалити все з певним значенням для заданого файлу, чому б просто не виконати grep -v:

наприклад, видалити все зі значенням "col2" у другому рядку місця: col1, col2, col3, col4

grep -v ',col2,' file > file_minus_offending_lines

Якщо це недостатньо добре, оскільки деякі рядки можуть бути неправильно викреслені, можливо, якщо відповідне значення відобразиться в іншому стовпці, ви можете зробити щось подібне:

awk для ізоляції стовпця-порушника: напр

awk -F, '{print $2 "|" $line}'

-F встановлює поле з обмеженням на ",", $ 2 означає стовпець 2, а потім деякий спеціальний роздільник, а потім весь рядок. Потім ви можете відфільтрувати, видаливши рядки, які починаються із порушного значення:

 awk -F, '{print $2 "|" $line}' | grep -v ^BAD_VALUE

а потім викресліть матеріал перед роздільником:

awk -F, '{print $2 "|" $line}' | grep -v ^BAD_VALUE | sed 's/.*|//g'

(зверніть увагу - команда sed є неохайною, тому що вона не містить значень пропуску. Також шаблон sed дійсно повинен бути чимось на зразок "[^ |] +" (тобто нічого, не роздільник). Але, сподіваємось, це досить зрозуміло.

Сортувавши файл sortспочатку, ви можете застосувати uniq.

Здається, сортувати файл просто чудово:

$ cat test.csv
overflow@domain2.com,2009-11-27 00:58:29.793000000,xx3.net,255.255.255.0
stack2@domain.com,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
overflow@domain2.com,2009-11-27 00:58:29.646465785,2x3.net,256.255.255.0 
stack2@domain.com,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
stack3@domain.com,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
stack4@domain.com,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
stack2@domain.com,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1

$ sort test.csv
overflow@domain2.com,2009-11-27 00:58:29.646465785,2x3.net,256.255.255.0 
overflow@domain2.com,2009-11-27 00:58:29.793000000,xx3.net,255.255.255.0
stack2@domain.com,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
stack2@domain.com,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
stack2@domain.com,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
stack3@domain.com,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
stack4@domain.com,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1

$ sort test.csv | uniq
overflow@domain2.com,2009-11-27 00:58:29.646465785,2x3.net,256.255.255.0 
overflow@domain2.com,2009-11-27 00:58:29.793000000,xx3.net,255.255.255.0
stack2@domain.com,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
stack3@domain.com,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
stack4@domain.com,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1

Ви також можете зайнятись магією AWK:

$ awk -F, '{ lines[$1] = $0 } END { for (l in lines) print lines[l] }' test.csv
stack2@domain.com,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
stack4@domain.com,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
stack3@domain.com,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
overflow@domain2.com,2009-11-27 00:58:29.646465785,2x3.net,256.255.255.0