Java: розділення рядків, розділених комою, але ігнорування коми в лапках

У мене рядок нечітко такий:

foo,bar,c;qual="baz,blurb",d;junk="quux,syzygy"

що я хочу розділити комами - але мені потрібно ігнорувати коми в лапках. Як я можу це зробити? Схоже, підхід до регулярних викидів не вдається; Я думаю, що я можу сканувати вручну та перейти в інший режим, коли побачу цитату, але було б непогано використовувати попередні бібліотеки. ( ред . : я думаю, я мав на увазі бібліотеки, які вже є частиною JDK або вже є частиною широко використовуваних бібліотек, таких як Apache Commons.)

вищевказана рядок має розділятися на:

foo
bar
c;qual="baz,blurb"
d;junk="quux,syzygy"

Примітка: це НЕ файл CSV, це одна рядок, що міститься у файлі з більшою загальною структурою

Спробуйте:

public class Main { 
    public static void main(String[] args) {
        String line = "foo,bar,c;qual=\"baz,blurb\",d;junk=\"quux,syzygy\"";
        String[] tokens = line.split(",(?=(?:[^\"]*\"[^\"]*\")*[^\"]*$)", -1);
        for(String t : tokens) {
            System.out.println("> "+t);
        }
    }
}

Вихід:

> foo
> bar
> c;qual="baz,blurb"
> d;junk="quux,syzygy"

Іншими словами: розділіть на кому лише те, що в комах нуль або парне число лапок перед нею .

Або трохи привітніше для очей:

public class Main { 
    public static void main(String[] args) {
        String line = "foo,bar,c;qual=\"baz,blurb\",d;junk=\"quux,syzygy\"";

        String otherThanQuote = " [^\"] ";
        String quotedString = String.format(" \" %s* \" ", otherThanQuote);
        String regex = String.format("(?x) "+ // enable comments, ignore white spaces
                ",                         "+ // match a comma
                "(?=                       "+ // start positive look ahead
                "  (?:                     "+ //   start non-capturing group 1
                "    %s*                   "+ //     match 'otherThanQuote' zero or more times
                "    %s                    "+ //     match 'quotedString'
                "  )*                      "+ //   end group 1 and repeat it zero or more times
                "  %s*                     "+ //   match 'otherThanQuote'
                "  $                       "+ // match the end of the string
                ")                         ", // stop positive look ahead
                otherThanQuote, quotedString, otherThanQuote);

        String[] tokens = line.split(regex, -1);
        for(String t : tokens) {
            System.out.println("> "+t);
        }
    }
}

який дає те саме, що і перший приклад.

EDIT

Як згадував @MikeFHay у коментарях:

Я вважаю за краще використовувати спліттер Guava , оскільки він має більш безпечні параметри (див. Дискусію вище про обрізання порожніх збігів String#split(), так що я зробив:

Splitter.on(Pattern.compile(",(?=(?:[^\"]*\"[^\"]*\")*[^\"]*$)"))

Хоча я люблю регулярні вирази взагалі, для такої залежності від держави токенізації я вважаю, що простий синтаксичний аналіз (який у даному випадку набагато простіший, ніж це слово може здатися) - це, ймовірно, більш чітке рішення, зокрема, що стосується ремонтопридатності , наприклад:

String input = "foo,bar,c;qual=\"baz,blurb\",d;junk=\"quux,syzygy\"";
List<String> result = new ArrayList<String>();
int start = 0;
boolean inQuotes = false;
for (int current = 0; current < input.length(); current++) {
    if (input.charAt(current) == '\"') inQuotes = !inQuotes; // toggle state
    boolean atLastChar = (current == input.length() - 1);
    if(atLastChar) result.add(input.substring(start));
    else if (input.charAt(current) == ',' && !inQuotes) {
        result.add(input.substring(start, current));
        start = current + 1;
    }
}

Якщо ви не дбаєте про збереження коми всередині лапок, ви можете спростити такий підхід (без обробки стартового індексу, жодного спеціального випадку останнього символу ), замінивши коси в лапки чимось іншим, а потім розділити на коми:

String input = "foo,bar,c;qual=\"baz,blurb\",d;junk=\"quux,syzygy\"";
StringBuilder builder = new StringBuilder(input);
boolean inQuotes = false;
for (int currentIndex = 0; currentIndex < builder.length(); currentIndex++) {
    char currentChar = builder.charAt(currentIndex);
    if (currentChar == '\"') inQuotes = !inQuotes; // toggle state
    if (currentChar == ',' && inQuotes) {
        builder.setCharAt(currentIndex, ';'); // or '♡', and replace later
    }
}
List<String> result = Arrays.asList(builder.toString().split(","));

http://sourceforge.net/projects/javacsv/

https://github.com/pupi1985/JavaCSV-Reloaded (вилка попередньої бібліотеки, яка дозволить згенерованому виводу мати лінійні термінатори Windows, \r\nколи не працює Windows)

http://opencsv.sourceforge.net/

CSV API для Java

Чи можете ви порекомендувати бібліотеку Java для читання (і, можливо, написання) файлів CSV?

Java lib або додаток для перетворення CSV у XML-файл?

Я б не радив відповіді на регулярні висловлювання від Барта, я вважаю, що в цьому конкретному випадку краще розбирати рішення (як запропонував Фабіан). Я спробував рішення регулярного вираження та власну реалізацію розбору, я виявив, що:

1. Парсинг набагато швидший, ніж розділення з регулярним виразом з зворотними відношеннями - ~ 20 разів швидше для коротких рядків, ~ 40 разів швидше для довгих рядків.
2. Regex не вдається знайти порожню рядок після останньої коми. Це не було в первісному питанні, але це було моєю вимогою.

Моє рішення та тест нижче.

String tested = "foo,bar,c;qual=\"baz,blurb\",d;junk=\"quux,syzygy\",";
long start = System.nanoTime();
String[] tokens = tested.split(",(?=([^\"]*\"[^\"]*\")*[^\"]*$)");
long timeWithSplitting = System.nanoTime() - start;

start = System.nanoTime(); 
List<String> tokensList = new ArrayList<String>();
boolean inQuotes = false;
StringBuilder b = new StringBuilder();
for (char c : tested.toCharArray()) {
    switch (c) {
    case ',':
        if (inQuotes) {
            b.append(c);
        } else {
            tokensList.add(b.toString());
            b = new StringBuilder();
        }
        break;
    case '\"':
        inQuotes = !inQuotes;
    default:
        b.append(c);
    break;
    }
}
tokensList.add(b.toString());
long timeWithParsing = System.nanoTime() - start;

System.out.println(Arrays.toString(tokens));
System.out.println(tokensList.toString());
System.out.printf("Time with splitting:\t%10d\n",timeWithSplitting);
System.out.printf("Time with parsing:\t%10d\n",timeWithParsing);

Звичайно, ви можете безкоштовно перейти на інший ifs у цьому фрагменті, якщо вам неприємно з його неподобством. Зауважте, тоді відсутність перерви після перемикання з роздільником. Замість StringBuilder було вибрано StringBuffer для збільшення швидкості, коли безпека нитки не має значення.

Спробуйте lookaround як (?!\"),(?!\"). Це повинно відповідати ,, не оточеним ".

Ви знаходитесь у тій роздратованій прикордонній області, де регулярні викиди майже не зробляться (як це вказував Барт, уникнення цитат склало б життя важко), і все-таки повноцінний аналізатор здається непосильним.

Якщо вам, швидше за все, знадобиться більша складність, я б пішов шукати бібліотеку розбору. Наприклад, цей

Я був нетерплячим і вирішив не чекати відповідей ... для довідок це виглядає не так складно зробити щось подібне (що працює для моєї програми, мені не потрібно турбуватися про втекли котирування, як речі в цитатах обмежується кількома обмеженими формами):

final static private Pattern splitSearchPattern = Pattern.compile("[\",]"); 
private List<String> splitByCommasNotInQuotes(String s) {
    if (s == null)
        return Collections.emptyList();

    List<String> list = new ArrayList<String>();
    Matcher m = splitSearchPattern.matcher(s);
    int pos = 0;
    boolean quoteMode = false;
    while (m.find())
    {
        String sep = m.group();
        if ("\"".equals(sep))
        {
            quoteMode = !quoteMode;
        }
        else if (!quoteMode && ",".equals(sep))
        {
            int toPos = m.start(); 
            list.add(s.substring(pos, toPos));
            pos = m.end();
        }
    }
    if (pos < s.length())
        list.add(s.substring(pos));
    return list;
}

.

Найпростіший підхід полягає в тому, щоб не співставити роздільники, тобто коми, зі складною додатковою логікою, щоб відповідати тому, що насправді призначено (дані, які можуть бути котировані рядками), а просто виключити помилкові роздільники, а скоріше співставити передбачувані дані.

Шаблон складається з двох альтернативних варіантів, рядка, що цитується ( "[^"]*"або ".*?"), або всього до наступної коми ( [^,]+). Щоб підтримати порожні комірки, ми повинні дозволити порожній елемент, який не котирується, порожнім і спожити наступну кому, якщо така є, та використати \\Gякір:

Pattern p = Pattern.compile("\\G\"(.*?)\",?|([^,]*),?");

Шаблон також містить дві групи захоплення, щоб отримати будь-який, вміст рядка, що цитується, або звичайний вміст.

Тоді за допомогою Java 9 ми можемо отримати масив як

String[] a = p.matcher(input).results()
    .map(m -> m.group(m.start(1)<0? 2: 1))
    .toArray(String[]::new);

тоді як для старих версій Java потрібен цикл

for(Matcher m = p.matcher(input); m.find(); ) {
    String token = m.group(m.start(1)<0? 2: 1);
    System.out.println("found: "+token);
}

Додавання елементів до Listмасиву чи масиву залишається читачем.

Для Java 8 ви можете використовувати results()реалізацію цієї відповіді , щоб зробити це як рішення Java 9.

Для змішаного вмісту із вбудованими рядками, як у запитанні, ви можете просто використовувати

Pattern p = Pattern.compile("\\G((\"(.*?)\"|[^,])*),?");

Але потім рядки зберігаються в цитованому вигляді.

Замість того, щоб використовувати lookahead та інші божевільні виразки, просто витягніть цитати спочатку. Тобто, для кожного групування цитат замініть це групування __IDENTIFIER_1чи інший показник, а групуйте його на карту рядка, рядка.

Після розбиття на коми, замініть усі відображені ідентифікатори на початкові значення рядка.

як щодо однолінійного використання String.split ()?

String s = "foo,bar,c;qual=\"baz,blurb\",d;junk=\"quux,syzygy\"";
String[] split = s.split( "(?<!\".{0,255}[^\"]),|,(?![^\"].*\")" );

Я б зробив щось подібне:

boolean foundQuote = false;

if(charAtIndex(currentStringIndex) == '"')
{
   foundQuote = true;
}

if(foundQuote == true)
{
   //do nothing
}

else 

{
  string[] split = currentString.split(',');  
}