Перевірте, чи всі рядки файлу зустрічаються в іншому файлі

У мене було два файли: file1 з приблизно 10 000 рядків та file2 з кількома сотнями рядків. Я хочу перевірити, чи всі файли file2 зустрічаються у file1. Тобто: ∀ рядок ℓ ∈ файл2: ℓ ∈ файл1

Якщо хтось не знає, що означають ці символи, або що "перевірити, чи всі рядки файлу2 зустрічаються у file1" означає: Кілька еквівалентних рядків у будь-якому файлі не впливають на те, чи повертається чек, що файли відповідають вимозі, чи ні.

Як це зробити?

comm -13 <(sort -u file_1) <(sort -u file_2)

Ця команда виведе рядки, унікальні для file_2. Отже, якщо вихід порожній, то всі file_2рядки містяться у file_1.

Від людини кому:

   With  no  options,  produce  three-column  output.  Column one contains
   lines unique to FILE1, column two contains lines unique to  FILE2,  and
   column three contains lines common to both files.

   -1     suppress column 1 (lines unique to FILE1)

   -2     suppress column 2 (lines unique to FILE2)

   -3     suppress column 3 (lines that appear in both files)

[ $(grep -cxFf file2 <(sort -u file1)) = $(sort -u file2 | wc -l) ] && 
  echo all there || 
  echo some missing

Якщо кількість збігів з file2 в (унікальних рядках) file1 є такою ж, як кількість унікальних рядків у file2, то вони всі є; інакше вони не є.

Використання GNU awkтам, де він підтримує специфічну length(array)функцію (та якусь іншу awkреалізацію, яка може підтримувати) і не потрібна, якщо файли сортуються.

gawk 'FNR==NR{seen[$0];next} ($0 in seen){delete seen[$0]};
    END{print (!length(seen))?"Matched":"Not Matched"}' file2 file1

Це зчитування файлу2 в масив, викликаний seenключем, як весь рядок file2 .

Потім прочитайте файл1 і для кожного рядка, якщо він збігається з рядками в баченому масиві, а потім видаліть цей ключ.

Зрештою, якщо масив був порожнім означає, що всі рядки у file2 існують у file1 та будуть надруковані Matched, інакше відобразяться Not Matched.

Для сумісності у всіх awkреалізаціях.

awk 'FNR==NR{seen[$0];next} ($0 in seen){delete seen[$0]};
    END{for(x in seen);print (!x)?"Matched":"Not Matched"}' file2 file1

Щоб ігнорувати порожні рядки / або рядки з пробілами лише у файлі2 , вам потрібно буде додати NFумову, NR==FNR && NF {...щоб пропустити їх читання в масив.

Використовуючи commви можете знайти рядки, які є загальними для обох файлів.

comm -12 file1 file2

Подивіться man commдетальніше

diff -q <(sort -u file2) <(grep -Fxf file2 file1 | sort -u)

не дасть результату, якщо file1містить всі рядки у file2та виходить зі статусом 0, інакше він надрукує щось подібне

Files /proc/self/fd/11 and /proc/self/fd/12 differ

і вийти зі статусом 1

Використовуйте програму Python:

#!/usr/bin/env python3
import sys

def open_arg(path):
    return sys.stdin if path == '-' else open(path)

def strip_linebreak(s):
    return s[:-1] if s.endswith('\n') else s

with open_arg(sys.argv[1]) as pattern_file:
    patterns = set(map(strip_linebreak, pattern_file))

with open_arg(sys.argv[2]) as dataset_file:
    for l in map(strip_linebreak, dataset_file):
        patterns.remove(l)
        if not patterns:
            break

sys.exit(int(bool(patterns)))

Використання:

python3 contains-all.py file2 file1

Статус виходу з програми вказує, чи були узгоджені всі шаблони файлу 2:

• 0 (успіх) означає, що всі шаблони були узгоджені.
• 1 (поломка) означає, що деякі зразки не відповідали.

Для запиту стану виходу в оболонці (сценарій) , ви можете використовувати або $?спеціальні змінні або інші вирази , які оцінюють стан виходу команди, наприклад , оператор від короткого замикання &&і ||і умовних вираження , як ifабо while. Приклад:

if python3 compare-all.py file2 file1 && some-other --condition; then
    # do stuff
fi

combineвід moreutils покаже вам всі рядки, у file2яких немає file1:

combine file2 not file1

Тоді ви можете порахувати кількість рядків, переклавши його wc -l, наприклад:

if [ $(combine file2 not file1 | wc -l) != 0 ]; then
  echo "lines missing"
else
  echo "You're fine"
fi