Запитання з тегом «uniq»

Скрізь, де я бачу когось, хто потребує отримання відсортованого, унікального списку, до якого завжди звертаються sort | uniq. Я ніколи не бачив прикладів, де хтось використовує sort -uзамість цього. Чому ні? У чому різниця, і чому для сортування краще використовувати uniq, ніж унікальний прапор?

119 bash  sort  uniq 

Мені дуже подобається використовувати control+rрекурсивний пошук моєї історії команд. Я знайшов кілька хороших варіантів, які я хотів би використовувати з ним: # ignore duplicate commands, ignore commands starting with a space export HISTCONTROL=erasedups:ignorespace # keep the last 5000 entries export HISTSIZE=5000 # append to the history instead of overwriting (good …

60 bash  command-line  command-history  sort  uniq 

$ cat data.txt aaaaaa aaaaaa cccccc aaaaaa aaaaaa bbbbbb $ cat data.txt | uniq aaaaaa cccccc aaaaaa bbbbbb $ cat data.txt | sort | uniq aaaaaa bbbbbb cccccc $ Результатом, який мені потрібен, є відображення всіх рядків з оригінального файлу, видалення всіх дублікатів (не тільки послідовних), зберігаючи початковий порядок висловлювань …

40 text-processing  uniq 

Цей однолінійний файл видаляє повторювані рядки з введення тексту без попереднього сортування. Наприклад: $ cat >f q w e w r $ awk '!a[$0]++' <f q w e r $ Оригінальний код, який я знайшов у мережах, читав: awk '!_[$0]++' Це ще більше мене здивувало, коли я сприйняв _особливе значення …

40 shell-script  awk  scripting  sort  uniq 

Ось команди на випадковому файлі з pastebin : wget -qO - http://pastebin.com/0cSPs9LR | wc -l 350 wget -qO - http://pastebin.com/0cSPs9LR | sort -u | wc -l 287 wget -qO - http://pastebin.com/0cSPs9LR | sort | uniq | wc -l 287 wget -qO - http://pastebin.com/0cSPs9LR | sort | uniq -u | wc …

35 uniq 

У мене є спосіб знайти всі файли в каталозі з повторюваними іменами файлів, незалежно від корпусу (верхнього та / або нижнього регістру)?

17 find  uniq  case-sensitivity  duplicate-files 

Я зіткнувся з таким випадком використання сьогодні. Це здається простим , на перший погляд, але возитися з sort, uniq, sedі awkз'ясувалося , що це нетривіально. Як я можу видалити всі пари повторюваних рядків? Іншими словами, якщо є парна кількість дублікатів заданого рядка, видаліть їх; якщо є непарна кількість повторюваних рядків, …

16 text-processing  sed  uniq 

Моє запитання схоже на це питання, але має декілька різних обмежень: У мене є великий \nрозділений список слів - одне слово на рядок. Розмір файлів коливається від 2 ГБ до 10 ГБ. Мені потрібно видалити всі повторювані рядки. Процес може сортувати список під час вилучення дублікатів, але це не потрібно. …

16 linux  text-processing  uniq 

У мене є старий код з 2003 року, який використовує -tпараметр для uniqкоманди. Він видає помилку, оскільки ця опція, ймовірно, більше не підтримується. Ось фрагмент, який використовує команду: egrep -n "{ IA32_OP" ia32-decode.c | \ awk '{ print $1 $3 $4 }' | \ sort -t '(' +1 | \ …

15 uniq 

У мене великий файл у такому форматі: 2 1019 0 12 2 1019 3 0 2 1021 0 2 2 1021 2 0 2 1022 4 5 2 1030 0 1 2 1030 5 0 2 1031 4 4 Якщо значення у колонці 2 збігаються, я хочу підсумувати значення у …

11 text-processing  awk  sort  uniq 

У мене є файл з одним стовпцем з іменами, які повторюються кілька разів кожен. Я хочу конденсувати кожне повторення в одне, зберігаючи будь-які інші повтори з тим самим іменем, які не суміжні з іншими однойменними повторами. Наприклад, я хочу повернути ліву сторону в праву сторону: Golgb1 Golgb1 Golgb1 Akna Golgb1 …

11 awk  sed  sort  uniq 

Що відбувається в наступному фрагменті коду? Я не отримую очікуваного результату. Я думаю, що це помилка, але це трапляється для двох різних програм (uniq і сортування), тому я підозрюю, що це щось стосується ... ну, я не знаю, що .. звідси питання. Перші 3 (із 4) прикладів працюють, але 4-й …

10 text-processing  sort  locale  unicode  uniq