Видаліть кома між цитатами лише у файлі з комою

У мене вхідний файл, розміщений комами ( ,). Є кілька полів, укладених у подвійні лапки, у яких є кома. Ось зразок рядка

123,"ABC, DEV 23",345,534.202,NAME

Мені потрібно видалити всі кома, що виникає всередині подвійних лапок, а також подвійних лапок. Отже, вищенаведений рядок повинен бути розібраний, як показано нижче

123,ABC DEV 23,345,534.202,NAME

Я спробував наступне, використовуючи, sedале не даючи очікуваних результатів.

sed -e 's/\(".*\),\(".*\)/\1 \2/g'

Будь-які швидкі фокуси з sed, awkабо будь-який інший утиліти Unix , будь ласка?

Якщо лапки врівноважені, ви хочете видалити коми між усіма іншими цитатами, це може бути виражено awkтак:

awk -F'"' -v OFS='' '{ for (i=2; i<=NF; i+=2) gsub(",", "", $i) } 1' infile

Вихід:

123,ABC DEV 23,345,534.202,NAME

Пояснення

В -F"марці AWK розділити рядок в подвійних лапках знаків, що означає кожне інше поле буде між лапками текстом. Запуск циклу for-циклу gsub, короткий для глобальної підстановки, у кожному іншому полі, замінюючи кома ( ",") нічим ( ""). 1В кінці викликає кодовий блок за замовчуванням: { print $0 }.

Є хороша відповідь, використовуючи sed просто один раз з циклом :

echo '123,"ABC, DEV 23",345,534,"some more, comma-separated, words",202,NAME'|
  sed ':a;s/^\(\([^"]*,\?\|"[^",]*",\?\)*"[^",]*\),/\1 /;ta'
123,"ABC  DEV 23",345,534,"some more  comma-separated  words",202,NAME

Пояснення:

• :a; є ярликом для більш тонкої гілки
• s/^\(\([^"]*,\?\|"[^",]*",\?\)*"[^",]*\),/\1 / може містити 3 вкладені частини
  • спочатку 2-й: [^"]*,\?\|"[^",]*",\?відповідність рядку, що не містить подвійної лапки, може слідувати кома або рядок, укладений двома подвійними цитатами, без коми, а може бути, слідом за комою.
  • ніж перша частина RE складається з такої кількості повторень раніше описаної частини 2, за якою слідує 1 подвійна цитата та кілька каратек, але жодної подвійної цитати, а також коми.
  • Перша частина RE повинна слідувати комі.
  • Нота, решту рядка не потрібно чіпати
• taбуде циклічно, :aякщо попередня s/команда внесла деякі зміни.

Загальне рішення, яке також може вирішити декілька косів між збалансованими лапками, потребує вкладеної заміни. Я реалізую рішення в perl, яке обробляє кожен рядок заданого вводу і лише замінює коми у всіх інших парах лапок:

perl -pe 's/ "  (.+?  [^\\])  "               # find all non escaped 
                                              # quoting pairs
                                              # in a non-greedy way

           / ($ret = $1) =~ (s#,##g);         # remove all commas within quotes
             $ret                             # substitute the substitution :)
           /gex'

або коротше

perl -pe 's/"(.+?[^\\])"/($ret = $1) =~ (s#,##g); $ret/ge'

Ви можете передавати текст команді, яку ви хочете обробити, або вказати текстовий файл, який обробляється як аргумент останнього командного рядка.

Я б використовував мову з належним аналізатором CSV. Наприклад:

ruby -r csv -ne '
  CSV.parse($_) do |row|
    newrow = CSV::Row.new [], []
    row.each {|field| newrow << field.delete(",")}
    puts newrow.to_csv
  end
' < input_file

Ваші другі цитати не вказано:

sed -e 's/\(".*\),\(.*"\)/\1 \2/g'

Крім того, використання регулярних виразів, як правило, відповідає найдовшій частині тексту, тобто це не працюватиме, якщо у вас є більше одного цитованого поля в рядку.

Спосіб, що обробляє кілька цитованих полів у sed

sed -e 's/\(\"[^",]\+\),\([^",]*\)/\1 \2/g' -e 's/\"//g'

Це також спосіб вирішити це, однак, при введенні, яке може містити більше однієї коми на котируване поле, перший вираз у sed повинен повторюватися стільки разів, скільки максимальний вміст коми в одному полі, або поки воно не буде зовсім не змінює вихід.

Запуск sed з більш ніж одним виразом повинен бути більш ефективним, ніж кілька запущених процесів sed і "tr", що працюють з відкритими трубами.

Однак це може мати небажані наслідки, якщо введення неправильно відформатовано. тобто вкладені котирування, невстановлені цитати.

Використовуючи запущений приклад:

echo '123,"ABC, DEV 23",345,534,"some more, comma-separated, words",202,NAME' \
| sed -e 's/\(\"[^",]\+\),\([^",]*\)/\1 \2/g' \
-e 's/\(\"[^",]\+\),\([^",]*\)/\1 \2/g' -e 's/\"//g'

Вихід:

123,ABC  DEV 23,345,534,some more  comma-separated  words,202,NAME

У perl - ви можете скористатися Text::CSVцим розбором і зробити це тривіально:

#!/usr/bin/env perl
use strict;
use warnings;

use Text::CSV; 

my $csv = Text::CSV -> new();

while ( my $row = $csv -> getline ( \*STDIN ) ) {
    #remove commas in each field in the row
    $_ =~ s/,//g for @$row;
    #print it - use print and join, rather than csv output because quotes. 
    print join ( ",", @$row ),"\n";
}

Ви можете друкувати за допомогою, Text::CSVале це, як правило, зберігає цитати, якщо це зробити. (Хоча, я б запропонував - замість зачистки лапки для виведення, ви можете просто розібрати , використовуючи Text::CSVв першу чергу).

Я створив функцію для циклу проходження кожного символу в рядку.
Якщо символ є цитатами, то чек (b_in_qt) позначається істинним.
У той час як b_in_qt відповідає дійсності, всі коми замінюються пробілом.
b_in_qt встановлюється значення false, коли буде знайдена наступна кома.

FUNCTION f_replace_c (str_in  VARCHAR2) RETURN VARCHAR2 IS
str_out     varchar2(1000)  := null;
str_chr     varchar2(1)     := null;
b_in_qt     boolean         := false;

BEGIN
    FOR x IN 1..length(str_in) LOOP
      str_chr := substr(str_in,x,1);
      IF str_chr = '"' THEN
        if b_in_qt then
            b_in_qt := false;
        else
            b_in_qt := true;
        end if;
      END IF;
      IF b_in_qt THEN
        if str_chr = ',' then
            str_chr := ' ';
        end if;
      END IF;
    str_out := str_out || str_chr;
    END LOOP;
RETURN str_out;
END;

str_in := f_replace_c ("blue","cat,dog,horse","",yellow,"green")

RESULTS
  "blue","cat dog horse","",yellow,"green"