Видаліть усі рядки у файлі A, які містять рядки у файлі B

У мене є файл CSV users.csvіз переліком імен користувачів, ідентифікаторів користувачів та інших даних:

username, userid, sidebar_side, sidebar_colour
"John Lennon", 90123412, "left", "blue"
"Paul McCartny", 30923833, "left", "black"
"Ringo Starr", 77392318, "right", "blue"
"George Harrison", 72349482, "left", "green"

В іншому файлі у toremove.txtмене є список ідентифікаторів користувача:

30923833
77392318

Чи є розумний, ефективний спосіб видалити всі рядки з users.csvфайлу, в якому містяться ідентифікатори toremove.txt? Я написав простий додаток Python, щоб проаналізувати два файли і записати в новий файл лише ті рядки, в яких не знайдено toremove.txt, але це надзвичайно повільно. Можливо , деякі sedабо awkмагія може допомогти тут?

Це бажаний результат, враховуючи наведені вище приклади:

username, userid, sidebar_side, sidebar_colour
"John Lennon", 90123412, "left", "blue"
"George Harrison", 72349482, "left", "green"

З grep, ви можете:

$ grep -vwF -f toremove.txt users.txt 
username, userid, sidebar_side, sidebar_colour
"John Lennon", 90123412, "left", "blue"
"George Harrison", 72349482, "left", "green"

З awk:

$ awk -F'[ ,]' 'FNR==NR{a[$1];next} !($4 in a)' toremove.txt users.txt 
username, userid, sidebar_side, sidebar_colour
"John Lennon", 90123412, "left", "blue"
"George Harrison", 72349482, "left", "green"

Ось відповідь Gnouc awk, модифікована для простору:

awk -F, 'FNR==NR{a[$1];next} !(gensub("^ *","",1,$2) in a)' toremove.txt users.csv

Оскільки він використовує лише коми (а не пробіли) як роздільники, $1є "John Lennon", $2є  90123412(з провідним пробілом) і т. Д. Тому ми використовуємо gensubдля видалення будь-якої кількості провідних пробілів, $2 перш ніж перевірити, чи був він (userid) у toremove.txtфайлі.

OK OK ruby ​​way: якщо у вас є список рядків у файлі, і ви хочете видалити всі рядки з іншого файлу, які навіть містять будь-який рядок у першому файлі (у цьому випадку видалення "file2" з "file1") ruby ​​file :

b=File.read("file2").split # subtract this one out
remove_regex = Regexp.new(b.join('|'))
File.open("file1", "r").each_line do |line|
  if line !~ remove_regex
    puts line
  end
end

на жаль, з великим файлом "видалити" це, здається, погіршує складність до O (N ^ 2) (моє припущення, що регулярний вигляд має багато роботи), але все-таки може бути корисним для когось там (якщо ви хочете більше, ніж видаляти повні рядки). У певних випадках це може бути швидше.

Інший варіант, якщо ви збираєтесь на швидкість, - це використовувати той же механізм перевірки хешу, але ретельно "розбирати" рядок для рядків, які можуть відповідати, а потім порівнювати їх з вашим хешем.

У рубіні це може виглядати так:

b=File.read("file2").split # subtract this one out
hash={}
for line in b
  hash[line] = 1
end

ARGF.each_line do |line|
  ok = true
  for number in line.scan(/\d{9}/)
    if hash.key? number
      ok=false
    end
  end
  if (ok)
    puts line
  end
end

Дивіться також відповідь Скотта, схожу на відповіді awk, запропоновані туди, і уникає складності O (N ^ 2) (Pеw).