Як видалити повторювані рядки всередині текстового файлу?

Величезний (до 2 ГБ) мій текстовий файл містить близько 100 точних дублікатів кожного рядка в ньому (в моєму випадку непотрібний, оскільки файл - це таблиця даних, схожа на CSV).

Що мені потрібно - це видалити всі повтори, при цьому (бажано, але це може бути пожертвовано для значного підвищення продуктивності), підтримуючи початковий порядок послідовностей. В результаті кожен рядок повинен бути унікальним. Якщо було 100 рівних рядків (як правило, дублікати розводяться по файлу і не будуть сусідами), залишиться лише один із виду.

Я написав програму в Scala (вважайте Java, якщо ви не знаєте про Scala) для її реалізації. Але, можливо, існують швидші рідні інструменти, написані на C, які здатні це зробити швидше?

ОНОВЛЕННЯ: awk '!seen[$0]++' filenameрішення, здавалося, спрацювало нормально, доки файли були біля 2 Гб або менше, але тепер, коли я прибираю файл з 8 Гб, він більше не працює. Здається, що безліч нескінченностей на Mac із 4-гігабайтною оперативною пам’яттю та 64-розрядному ПК Windows 7 з 4 гігабайтами оперативної пам’яті та підмінами 6 GiB просто не вистачає пам'яті. І я не відчуваю ентузіазму пробувати це на Linux з 4-мегабайтною оперативною пам’яттю, враховуючи цей досвід.

awkРішення видно на #bash (Freenode):

awk '!seen[$0]++' filename

Існує простий (що не означає очевидний) метод, що використовує стандартні утиліти, які не вимагають великої пам'яті, крім запуску sort, який у більшості реалізацій має специфічні оптимізації для величезних файлів (хороший зовнішній алгоритм сортування). Перевагою цього методу є те, що він перетинає лише всі рядки всередині утиліти спеціального призначення, ніколи не інтерпретовані мови.

<input nl -b a -s : |           # number the lines
sort -t : -k 2 -u |             # sort and uniquify ignoring the line numbers
sort -t : -k 1n |               # sort according to the line numbers
cut -d : -f 2- >output          # remove the line numbers

Якщо всі рядки починаються з символу, який не є пробілом, ви можете відмовитися від деяких варіантів:

<input nl | sort -k 2 -u | sort -k 1n | cut -f 2- >output

Для великої кількості дублювання метод, який вимагає збереження лише однієї копії кожного рядка в пам'яті, буде працювати краще. З деякими інтерпретаційними накладними відомостями, існує дуже стислий сценарій awk для цього (вже розміщений enzotib ):

<input awk '!seen[$0]++'

Менш стисло: !seen[$0] {print} {seen[$0] += 1}тобто надрукуйте поточний рядок, якщо він ще не був помічений, тоді збільште seenлічильник для цього рядка (неініціалізовані змінні або елементи масиву мають числове значення 0).

Для довгих рядків ви можете зберегти пам'ять, зберігаючи лише контрольну суму (наприклад, криптографічний дайджест) кожного рядка. Наприклад, використовуючи SHA-1, вам потрібно лише 20 байт плюс постійний накладний набір на рядок. Але обчислення дайджестів відбувається досить повільно; цей метод виграє лише в тому випадку, якщо у вас швидкий процесор (особливо той, який має апаратний прискорювач для обчислення дайджестів) і не багато пам'яті щодо розміру файлу та достатньо довгих рядків. Жодна основна утиліта не дозволяє обчислити контрольну суму для кожного рядка; вам доведеться нести накладну інтерпретацію Perl / Python / Ruby / ... або написати спеціально складену програму.

<input perl -MDigest::MD5 -ne '$seen{Digest::MD5::md5($_)}++ or print' >output

sort -u big-csv-file.csv > duplicates-removed.csv

Зверніть увагу, що вихідний файл буде сортований.

Якщо припустити, що ви можете дозволити собі зберегти стільки, скільки дебюльований файл у пам’яті (якщо ваші дані дійсно дублюються з коефіцієнтом 100, це повинно бути приблизно 20 Мбіт + накладні витрати), ви можете зробити це дуже легко за допомогою Perl.

$ perl -ne 'print unless $dup{$_}++;' input_file > output_file

Це також зберігає порядок.

Ви можете отримати кількість зустрічей кожного рядка з %dupхешу, якщо цього хочете, як додатковий безкоштовний бонус.

Якщо ви віддаєте перевагу awk, це теж слід робити (така ж логіка, що і версія perl, те саме впорядкування, ті ж дані, зібрані у dupзмінній):

$ awk '{if (++dup[$0] == 1) print $0;}' input_file > output_file

Оскільки жодна інша відповідь не надається на місці підтримки, ось одна:

gawk -i inplace '!a[$0]++' file

Ви можете використовувати uniq http://www.computerhope.com/unix/uuniq.htm

uniq звіти або фільтрує повторні рядки у файлі.

Лайнери Python One:

python -c "import sys; lines = sys.stdin.readlines(); print ''.join(sorted(set(lines)))" < InputFile

Жодна з відповідей тут не працювала на моєму Mac, тому я написав простий скрипт python, який працює для мене. Я ігнорую пробіли проміжних / кінцевих пробілів, а також не дбаю про споживання пам'яті.

import sys

inputfile = sys.argv[1]
outputfile = sys.argv[2]

with open(inputfile) as f:
    content = f.readlines()

content = [x.strip() for x in content]

my_list = list(set(content))

with open(outputfile, 'w') as output:
    for item in my_list:
        output.write("%s\n" % item)

Збережіть вищезазначене в unique.py і запустіть так:

python unique.py inputfile.txt outputfile.txt

З bash 4 можна використовувати чисто-баш-рішення, яке використовує переваги асоціативних масивів . Ось приклад

unset llist; declare -A llist;
while read -r line; do
if [[ ${llist[$line]} ]]; then
  continue
else 
  printf '%s\n' "$line"
  llist[$line]="x"
fi
done < file.txt