Найшвидший спосіб розділити обмежений рядок на Java

Я будую компаратор, який надає можливість сортування в декількох стовпцях для обмеженої рядки. В даний час я використовую метод розбиття з класу String як мій кращий вибір для розбиття необробленого рядка на лексеми.

Це найкращий спосіб перетворити необроблений рядок в масив String? Я буду сортувати мільйони рядків, тому думаю, що підхід має значення.

Здається, працює добре і дуже просто, але не впевнений, що в Java є швидший шлях.

Ось як працює сортування в моєму компараторі:

public int compare(String a, String b) {

    String[] aValues = a.split(_delimiter, _columnComparators.length);
    String[] bValues = b.split(_delimiter, _columnComparators.length);
    int result = 0;

    for( int index : _sortColumnIndices ) {
        result = _columnComparators[index].compare(aValues[index], bValues[index]);
        if(result != 0){
            break;
        }
    }
    return result;
}

Після порівняльного аналізу різних підходів, вірите чи ні, метод спліт був найшвидшим із використанням останньої версії Java. Ви можете завантажити мій завершений компаратор тут: https://sourceforge.net/projects/multicolumnrowcomparator/

Я написав для цього швидкий і брудний тест на тест. У ньому порівнюються 7 різних методів, деякі з яких потребують конкретних знань про поділ даних.

Для базового розщеплення загального призначення, Guava Splitter на 3,5 рази швидше, ніж String # split (), і я рекомендую використовувати його. Стрингтокенізатор трохи швидший за це, і розділити себе за допомогою indexOf вдвічі швидше, ніж знову.

Для коду та додаткової інформації див. Http://demeranville.com/battle-of-the-tokenizers-delimited-text-parser-performance/

Як пише @Tom, підхід типу indexOf швидший String.split(), оскільки останній має справу з регулярними виразами і має для них багато зайвих накладних витрат.

Однак одна зміна алгоритму, яка може забезпечити вам надшвидке прискорення. Якщо припустити, що цей компаратор буде використовуватися для сортування ~ 100 000 рядків, не пишіть Comparator<String>. Тому що під час вашого сорту одна і та ж струна, ймовірно, буде порівнюватися декілька разів, тому ви розділите її кілька разів тощо.

Розділіть всі рядки один раз на String [] s і встановіть Comparator<String[]>сортування String []. Потім, наприкінці, ви можете їх об'єднати всі разом.

Крім того, ви також можете використовувати Map для кешування рядка -> String [] або навпаки. наприклад (схематичний) Також зверніть увагу, ви торгуєте пам’яттю на швидкість, сподіваюся, у вас є лота оперативна пам’ять

HashMap<String, String[]> cache = new HashMap();

int compare(String s1, String s2) {
   String[] cached1 = cache.get(s1);
   if (cached1  == null) {
      cached1 = mySuperSplitter(s1):
      cache.put(s1, cached1);
   }
   String[] cached2 = cache.get(s2);
   if (cached2  == null) {
      cached2 = mySuperSplitter(s2):
      cache.put(s2, cached2);
   }

   return compareAsArrays(cached1, cached2);  // real comparison done here
}

Відповідно до цих орієнтирів , StringTokenizer швидше розбиває рядки, але він не повертає масив, що робить його менш зручним.

Якщо вам потрібно сортувати мільйони рядків, я рекомендую використовувати RDBMS.

Це метод, який я використовую для аналізу великих файлів з обмеженими вкладками (1 ГБ +). Він має набагато менші накладні витрати, ніж String.split()обмежувач, charяк обмежувач. Якщо хтось має більш швидкий метод, я хотів би його побачити. Це також можна зробити над CharSequenceі CharSequence.subSequence, але для цього потрібна реалізація CharSequence.indexOf(char)(див. Метод упаковки, String.indexOf(char[] source, int sourceOffset, int sourceCount, char[] target, int targetOffset, int targetCount, int fromIndex)якщо ви зацікавлені).

public static String[] split(final String line, final char delimiter)
{
    CharSequence[] temp = new CharSequence[(line.length() / 2) + 1];
    int wordCount = 0;
    int i = 0;
    int j = line.indexOf(delimiter, 0); // first substring

    while (j >= 0)
    {
        temp[wordCount++] = line.substring(i, j);
        i = j + 1;
        j = line.indexOf(delimiter, i); // rest of substrings
    }

    temp[wordCount++] = line.substring(i); // last substring

    String[] result = new String[wordCount];
    System.arraycopy(temp, 0, result, 0, wordCount);

    return result;
}