Як розділити файли CSV за вказаною кількістю рядків?

Я маю файл CSV (близько 10000 рядків; кожен рядок має 300 стовпців), який зберігається на сервері LINUX. Я хочу розбити цей файл CSV на 500 файлів CSV по 20 записів кожен. (Кожен має такий самий заголовок CSV, який присутній в оригінальному CSV)

Чи існує якась команда Linux, яка допоможе здійснити це перетворення?

Зробив це у функцію. Тепер ви можете зателефонуватиsplitCsv <Filename> [chunkSize]

splitCsv() {
    HEADER=$(head -1 $1)
    if [ -n "$2" ]; then
        CHUNK=$2
    else 
        CHUNK=1000
    fi
    tail -n +2 $1 | split -l $CHUNK - $1_split_
    for i in $1_split_*; do
        sed -i -e "1i$HEADER" "$i"
    done
}

Знайдено на: http://edmondscommerce.github.io/linux/linux-split-file-eg-csv-and-keep-header-row.html

Використовуйте команду Linux split:

split -l 20 file.txt new    

Розділіть файл "file.txt" на файли, що починаються з назви "новий", кожен з яких містить по 20 рядків тексту.

man splitДля отримання додаткової інформації введіть у запиті Unix. Однак вам доведеться спочатку видалити заголовок із файлу file.txt (наприклад, за допомогою tailкоманди), а потім знову додати його до кожного з розділених файлів.

Це має спрацювати !!!

file_name= Назва файлу, який потрібно розділити.
10000= Кількість рядків, які міститиме кожен розділений файл
file_part_= Префікс імені розділеного файлу (file_part_0, file_part_1, file_part_2 ... тощо)

розділити -d -l 10000 ім'я_файла.csv файл_част_

Це має зробити це за вас - усі ваші файли в кінцевому підсумку називатимуться Part1-Part500.

#!/bin/bash
FILENAME=10000.csv
HDR=$(head -1 $FILENAME)   # Pick up CSV header line to apply to each file
split -l 20 $FILENAME xyz  # Split the file into chunks of 20 lines each
n=1
for f in xyz*              # Go through all newly created chunks
do
   echo $HDR > Part${n}    # Write out header to new file called "Part(n)"
   cat $f >> Part${n}      # Add in the 20 lines from the "split" command
   rm $f                   # Remove temporary file
   ((n++))                 # Increment name of output part
done

У мене є однорядкова відповідь (у цьому прикладі ви отримаєте 999 рядків даних та один рядок заголовка на файл)

cat bigFile.csv | parallel --header : --pipe -N999 'cat >file_{#}.csv'

https://stackoverflow.com/a/53062251/401226