Команда Unix для пошуку рядків, поширених у двох файлах

Я впевнений, що одного разу я знайшов команду unix, яка могла б надрукувати загальні рядки з двох або більше файлів, хтось знає її ім'я? Це було набагато простіше, ніж diff.

Команда, яку ви шукаєте, така comm. наприклад: -

comm -12 1.sorted.txt 2.sorted.txt

Тут:

-1 : придушити стовпець 1 (рядки, унікальні для 1.sorted.txt)

-2 : придушити стовпчик 2 (рядки, унікальні для 2.sorted.txt)

Щоб легко застосувати команду comm до несортованих файлів, використовуйте процедуру підстановки Bash :

$ bash --version
GNU bash, version 3.2.51(1)-release
Copyright (C) 2007 Free Software Foundation, Inc.
$ cat > abc
123
567
132
$ cat > def
132
777
321

Отже, файли abc та def мають один загальний рядок, той, що має "132". Використання коду для несортованих файлів:

$ comm abc def
123
    132
567
132
    777
    321
$ comm -12 abc def # No output! The common line is not found
$

Останній рядок не дав вихід, загальна лінія не була виявлена.

Тепер використовуйте comm для відсортованих файлів, сортуючи файли із заміною процесу:

$ comm <( sort abc ) <( sort def )
123
            132
    321
567
    777
$ comm -12 <( sort abc ) <( sort def )
132

Тепер ми отримали 132 рядок!

Щоб доповнити однолінійку Perl, ось його awkеквівалент:

awk 'NR==FNR{arr[$0];next} $0 in arr' file1 file2

Це буде читати всі рядки з file1масиву arr[], а потім перевіряти, file2чи не існує він у кожному масиві (тобто file1). Знайдені рядки будуть надруковані в тому порядку, в якому вони відображаються file2. Зауважте, що для порівняння in arrвикористовується весь рядок від file2індексу до масиву, тому він повідомлятиме лише про точні збіги у всіх рядках.

Може, ти маєш на увазі comm?

Порівняйте відсортовані файли FILE1 та FILE2 рядок за рядком.

Не маючи жодних варіантів, виведіть вихід з трьох стовпців. Перша колонка містить рядки, унікальні для FILE1, друга колонка містить рядки, унікальні для FILE2, а третя колонка містить рядки, загальні для обох файлів.

Секрет пошуку цієї інформації - це інформаційні сторінки. Що стосується програм GNU, вони набагато детальніше, ніж їх довідкові сторінки. Спробуйте, info coreutilsі він перелічить вам усі маленькі корисні утиліти.

Поки

grep -v -f 1.txt 2.txt > 3.txt

дає розбіжність у двох файлах (те, що знаходиться в 2.txt, а не в 1.txt), ви можете легко зробити це

grep -f 1.txt 2.txt > 3.txt

зібрати всі загальні лінії, які мають забезпечити просте вирішення вашої проблеми. Якщо ви відсортували файли, commвсе-таки слід взяти . З повагою!

Якщо два файли ще не відсортовано, ви можете використовувати:

comm -12 <(sort a.txt) <(sort b.txt)

і воно буде працювати, уникаючи повідомлення про помилку comm: file 2 is not in sorted order під час роботи comm -12 a.txt b.txt.

perl -ne 'print if ($seen{$_} .= @ARGV) =~ /10$/'  file1 file2

awk 'NR==FNR{a[$1]++;next} a[$1] ' file1 file2

У обмеженій версії Linux (на зразок QNAP (nas) над якою працював):

• ком не існувало
• grep -f file1 file2може викликати деякі проблеми, як сказав @ChristopherSchultz, і використання grep -F -f file1 file2було дуже повільним (більше 5 хвилин - не закінчено - понад 2-3 секунди методом, наведеним нижче для файлів понад 20 Мб)

Отже ось що я зробив:

sort file1 > file1.sorted
sort file2 > file2.sorted

diff file1.sorted file2.sorted | grep "<" | sed 's/^< *//' > files.diff
diff file1.sorted files.diff | grep "<" | sed 's/^< *//' > files.same.sorted

Якщо files.same.sortedвони були б у тому ж порядку, що й вихідні, додайте цей рядок у тому ж порядку, що й файл1:

awk 'FNR==NR {a[$0]=$0; next}; $0 in a {print a[$0]}' files.same.sorted file1 > files.same

або для того ж порядку, що і file2:

awk 'FNR==NR {a[$0]=$0; next}; $0 in a {print a[$0]}' files.same.sorted file2 > files.same

Для ознайомлення, якщо хтось все ще шукає, як це зробити для декількох файлів, дивіться пов’язану відповідь на пошук пошуку відповідних рядків у багатьох файлах.

Поєднуючи ці два відповіді ( ans1 та ans2 ), я думаю, ви можете отримати потрібний вам результат, не сортуючи файли:

#!/bin/bash
ans="matching_lines"

for file1 in *
do 
    for file2 in *
        do 
            if  [ "$file1" != "$ans" ] && [ "$file2" != "$ans" ] && [ "$file1" != "$file2" ] ; then
                echo "Comparing: $file1 $file2 ..." >> $ans
                perl -ne 'print if ($seen{$_} .= @ARGV) =~ /10$/' $file1 $file2 >> $ans
            fi
         done 
done

Просто збережіть його, надайте йому права на виконання (chmod +x compareFiles.sh ) та запустіть його. Він займе всі файли, наявні в поточній робочій директорії, і зробить порівняння "проти всіх", залишивши в файлі "match_lines" результат.

Що слід покращити:

• Пропустіть каталоги
• Уникайте порівняння всіх файлів у два рази (file1 vs file2 та file2 vs file1).
• Можливо, додайте номер рядка поруч із відповідним рядком

rm file3.txt

cat file1.out | while read line1
do
        cat file2.out | while read line2
        do
                if [[ $line1 == $line2 ]]; then
                        echo $line1 >>file3.out
                fi
        done
done

Це має робити.