Виберіть рядки з текстового файлу, які мають ідентифікатори, перелічені в іншому файлі

Я використовую багато сорту grep awk у своїй оболонці unix для роботи із середніми розмірами (близько 10М-100М рядків) текстовими файлами стовпців, розділеними вкладками. У цьому відношенні оболонка unix - це моя таблиця.

Але у мене є одна величезна проблема - це вибір записів із переліком ідентифікаторів.

Маючи table.csvфайл із форматом id\tfoo\tbar...та ids.csvфайл із переліком ідентифікаторів, вибирайте лише записи table.csvіз наявного в ньому id ids.csv.

вид /programming/13732295/extract-all-lines-from-text-file-based-on-a-given-list-of-ids, але з оболонкою, а не perl.

grep -Fочевидно, створює помилкові позитиви, якщо ідентифікатори змінної ширини. joinце утиліта, яку я ніколи не міг зрозуміти. Перш за все, це вимагає алфавітного сортування (мої файли зазвичай сортуються за чисельністю), але навіть тоді я не можу змусити його працювати, не поскаржившись на неправильний порядок та пропустивши деякі записи. Тож мені це не подобається. grep -f проти файлу з ^id\t-s відбувається дуже повільно, коли кількість ідентифікаторів велика. awkгроміздкий.

Чи є для цього хороші рішення? Якісь інструменти для файлів, розділених вкладками? Додаткова функціональність теж буде вітатися.

UPD: виправлено sort->join

Я думаю, ти мав на увазі це grep -fне так, grep -Fале насправді потрібна комбінація обох і -w:

grep -Fwf ids.csv table.csv

Причина, по якій ви отримували помилкові позитиви, - це, мабуть, ви не пояснили, оскільки якщо ідентифікатор може міститися в іншому, то обидва будуть надруковані. -wусуває цю проблему та -Fгарантує, що шаблони трактуються як рядки, а не регулярні вирази. Від man grep:

   -F, --fixed-strings
          Interpret PATTERN as a  list  of  fixed  strings,  separated  by
          newlines,  any  of  which is to be matched.  (-F is specified by
          POSIX.)
   -w, --word-regexp
          Select  only  those  lines  containing  matches  that form whole
          words.  The test is that the matching substring must  either  be
          at  the  beginning  of  the  line,  or  preceded  by  a non-word
          constituent character.  Similarly, it must be either at the  end
          of  the  line  or  followed by a non-word constituent character.
          Word-constituent  characters  are  letters,  digits,   and   the
          underscore.

   -f FILE, --file=FILE
          Obtain  patterns  from  FILE,  one  per  line.   The  empty file
          contains zero patterns, and therefore matches nothing.   (-f  is
          specified by POSIX.)

Якщо ваші помилкові позитиви пов’язані з тим, що ідентифікатор може бути присутнім у полі без ідентифікації, перейдіть натомість через ваш файл:

while read pat; do grep -w "^$pat" table.csv; done < ids.csv

або, швидше:

xargs -I {} grep "^{}" table.csv < ids.csv

Особисто я би це зробив, perlхоча:

perl -lane 'BEGIN{open(A,"ids.csv"); while(<A>){chomp; $k{$_}++}} 
            print $_ if defined($k{$F[0]}); ' table.csv

joinУтиліта, що ви хочете. Для цього потрібні лексичні сортування вхідних файлів.

Припустимо, що ваша оболонка - bash або ksh:

join -t $'\t' <(sort ids.csv) <(sort table.csv)

Не потребуючи сортування, звичайне рішення awk

awk -F '\t' 'NR==FNR {id[$1]; next} $1 in id' ids.csv table.csv

Відповіді на це питання допомогли мені обійти ніггери з приєднанням. По суті, сортуючи файл під час підготовки до надсилання до нього, вам потрібно переконатися, що ви сортуєте на основі стовпця, до якого ви приєднуєтесь. Отже, якщо це перше, вам потрібно сказати йому, що є символом роздільника у файлі, і що ви хочете його сортувати за першим полем (і лише першим полем). Інакше, якщо перше поле має змінну ширину (наприклад), ваші роздільники та, можливо, інші поля можуть почати впливати на порядок сортування.

Отже, використовуйте параметр -t сортування, щоб вказати свій розділовий символ, і використовуйте параметр -k, щоб вказати поле (пам’ятаючи, що вам потрібно поле початку та кінця - навіть якщо воно те саме - або він буде сортувати з цього символу до кінця рядка).

Отже, для файлу, розділеного на вкладки, як у цьому питанні, має працювати наступне (завдяки відповіді Glenn за структуру):

join -t$'\t' <(sort -d ids.csv) <(sort -d -t$'\t' -k1,1 table.csv) > output.csv

(Для довідки, -d прапор означає сортування словника. Ви також можете використовувати прапор -b для ігнорування провідних пробілів, див. man sortТа man join).

В якості більш загального прикладу, припустимо, ви приєднуєте два файли, розділені комами - input1.csvна третьому стовпці та input2.csvна четвертому. Ви можете використовувати

join -t, -1 3 -2 4 <(sort -d -t, -k3,3 input2.csv) <(sort -d -t, -k4,4 input2.csv) > output.csv

Тут -1і -2параметри вказують, до яких полів приєднатись у першому та другому вхідних файлах відповідно.

Ви також можете використовувати рубін, щоб зробити щось подібне:

ruby -pe 'File.open("id.csv").each { |i| puts i if i =~ /\$\_/ }' table.csv