Як скопіювати файли великих даних по черзі?

У мене CSVфайл 35 Гб . Я хочу прочитати кожен рядок і записати його в новий CSV, якщо він відповідає умові.

try (BufferedWriter writer = Files.newBufferedWriter(Paths.get("source.csv"))) {
    try (BufferedReader br = Files.newBufferedReader(Paths.get("target.csv"))) {
        br.lines().parallel()
            .filter(line -> StringUtils.isNotBlank(line)) //bit more complex in real world
            .forEach(line -> {
                writer.write(line + "\n");
        });
    }
}

Це займає ок. 7 хвилин. Чи можна ще більше прискорити цей процес?

Якщо це варіант, ви можете використовувати GZipInputStream / GZipOutputStream для мінімізації вводу / виводу диска.

Files.newBufferedReader / Writer використовують розмір буфера за замовчуванням, 8 КБ, я вважаю. Ви можете спробувати більший буфер.

Перетворення на String, Unicode, сповільнюється до (і використовує двічі пам'ять). Використовуваний UTF-8 не такий простий, як StandardCharsets.ISO_8859_1.

Найкраще, якщо ви можете працювати з байтами здебільшого і лише для конкретних полів CSV перетворюйте їх у String.

Файл, відображений на пам'яті, може бути найбільш підходящим. Паралелізм може використовуватися діапазонами файлів, випилюючи файл.

try (FileChannel sourceChannel = new RandomAccessFile("source.csv","r").getChannel(); ...
MappedByteBuffer buf = sourceChannel.map(...);

Це стане трохи більшим кодом, що набирає рядки прямо (byte)'\n', але не надто складно.

ви можете спробувати це:

try (BufferedWriter writer = new BufferedWriter(new FileWriter(targetFile), 1024 * 1024 * 64)) {
  try (BufferedReader br = new BufferedReader(new FileReader(sourceFile), 1024 * 1024 * 64)) {

Думаю, це заощадить вам одну-дві хвилини. випробування можна зробити на моїй машині приблизно за 4 хвилини, вказавши розмір буфера.

чи могло бути швидше? спробуйте це:

final char[] cbuf = new char[1024 * 1024 * 128];

try (Writer writer = new FileWriter(targetFile)) {
  try (Reader br = new FileReader(sourceFile)) {
    int cnt = 0;
    while ((cnt = br.read(cbuf)) > 0) {
      // add your code to process/split the buffer into lines.
      writer.write(cbuf, 0, cnt);
    }
  }
}

Це повинно економити три-чотири хвилини.

Якщо цього ще недостатньо. (Я вважаю, що ви ставите питання, ймовірно, вам потрібно виконати завдання кілька разів). якщо ви хочете зробити це за одну хвилину чи навіть пару секунд. то вам слід обробити дані та зберегти їх у db, а потім обробити завдання на декількох серверах.

Завдяки всім вашим пропозиціям, найшвидше, що я придумав, - це обмін письменником BufferedOutputStream, що дало приблизно 25% покращення:

   try (BufferedReader reader = Files.newBufferedReader(Paths.get("sample.csv"))) {
        try (BufferedOutputStream writer = new BufferedOutputStream(Files.newOutputStream(Paths.get("target.csv")), 1024 * 16)) {
            reader.lines().parallel()
                    .filter(line -> StringUtils.isNotBlank(line)) //bit more complex in real world
                    .forEach(line -> {
                        writer.write((line + "\n").getBytes());
                    });
        }
    }

І все-таки результати BufferedReaderкраще, ніж BufferedInputStreamу моєму випадку.