Зберігайте лише рядки, що містять точну кількість роздільників

У мене величезний файл csv з 10 полями, розділеними комами. На жаль, деякі рядки неправильно сформовані і не містять рівно 10 коми (що спричиняє деякі проблеми, коли я хочу прочитати файл у R). Як я можу відфільтрувати лише рядки, які містять рівно 10 коми?

Ще один POSIX:

awk -F , 'NF == 11' <file

Якщо рядок має 10 коми, то в цьому рядку буде 11 полів. Тому ми просто awkвикористовуємо ,як роздільник поля. Якщо кількість полів дорівнює 11, умова NF == 11вірна, awkтоді виконується дія за замовчуванням print $0.

Використання egrep(або grep -Eв POSIX):

egrep "^([^,]*,){10}[^,]*$" file.csv

Це відфільтровує все, що не містить 10 коми: воно відповідає повним рядкам ( ^на початку та $в кінці), що містять рівно десять повторів ( {10}) послідовності "будь-яка кількість символів, окрім", ", за яким слідує один", "" ( ([^,]*,)), після чого знову будь-яка кількість символів, крім ',' ( [^,]*).

Ви також можете скористатися -xпараметром для скидання якорів:

grep -xE "([^,]*,){10}[^,]*" file.csv

Це менш ефективно , ніж cuonglm «и awkрішення , хоча; останнє, як правило, у моїй системі в шість разів швидше для рядків з приблизно 10 комами. Більш довгі лінії призведуть до величезних уповільнень.

Найпростіший grepкод, який буде працювати:

grep -xE '([^,]*,){10}[^,]*'

Пояснення:

-xгарантує, що візерунок повинен відповідати всій лінії, а не лише її частині. Це важливо, щоб ви не відповідали рядкам із більш ніж 10 комами.

-E означає "розширений регулярний вираз", що дозволяє зменшити кількість відхилень від косої риски у вашому регулярному вираженні.

Для групування використовуються дужки, а {10}згодом означає, що в парантезах повинно бути рівно десять збігів підряд.

[^,]є класом символів - наприклад, [c-f]відповідатиме будь-яким окремим символам, що є a c, a d, an eабо an f, і [^A-Z]відповідатиме будь-якому одному символу, який НЕ є великими літерами. Так [^,]відповідає будь-якому одному символу, крім коми.

Клас *символів після означає "нуль або більше з них".

Отже, частина регулярного вираження ([^,]*,)означає "Будь-який символ, крім коми, будь-яку кількість разів (включаючи нульовий раз) з комою", і {10}вказує 10 з них. Потім [^,]*підберіть решту символів без коми до кінця рядка.

sed -ne's/,//11;t' -e's/,/&/10p' <in >out

Спочатку розгалужується будь-який рядок з 11 або більше комами, а потім друкується лише те, що відповідає 10 комам.

Мабуть, я відповів на це раніше ... Ось мій плагіат із запитання, яке шукає саме 4 випадки певної картини:

Ви можете націлити на [num]появу шаблону за допомогою s///команди sed ubstitution, просто додавши [num]до команди. Коли ви tоцінюєте успішну заміну і не вказуєте цільову :мітку, test розгалужується зі сценарію. Це означає, що все, що вам потрібно зробити, - це перевірити s///5чи більше коми, а потім надрукувати те, що залишилося.

Або, принаймні, що обробляє лінії, які перевищують ваш максимум 4. Очевидно, ви також маєте мінімальну вимогу. На щастя, це так само просто:

sed -ne 's|,||5;t' -e 's||,|4p'

... просто замініть 4-е виникнення ,на лінії себе і прикріпіть свої прапори pдо s///прапорів ув'язнення. Оскільки будь-які рядки, які відповідають ,5 і більше разів, вже обрізані, рядки, що містять 4 ,збіги, містять лише 4.

Викидання короткого python:

#!/usr/bin/env python2
with open('file.csv') as f:
    print '\n'.join(line for line in f if line.count(',') == 10)

Це буде читати кожен рядок і перевіряти, чи кількість коми в рядку дорівнює 10 line.count(',') == 10, якщо так - надрукувати - це буде рядок.

І ось Perl спосіб:

perl -F, -ane 'print if $#F==10'

-nПризводить perlпрочитати його вхідний файл по рядках та виконати сценарій , даний -eв кожному рядку. У -aчерзі на автоматичне розщеплення: кожна вхідний рядок буде розділена на значення , що дається -F(тут кома) і зберігаються в вигляді масиву @F.

$#F(Або, в більш загальному випадку $#array), найвищий індекс масиву @F. Оскільки масиви починаються з 0, рядок з 11 полів матиме @Fо 10. Отже, сценарій друкує рядок, якщо в ньому є рівно 11 полів.

Якщо поля можуть містити коми або нові рядки, ваш код повинен розуміти csv. Приклад (з трьома стовпцями):

$ cat filter.csv
a,b,c
d,"e,f",g
1,2,3,4
one,two,"three
...continued"

$ cat filter.csv | python3 -c 'import sys, csv
> csv.writer(sys.stdout).writerows(
> row for row in csv.reader(sys.stdin) if len(row) == 3)
> '
a,b,c
d,"e,f",g
one,two,"three
...continued"

Я припускаю, що більшість рішень поки що відкине другий і четвертий ряд.