Запитання з тегом «split»

Відповідні, але не задовільні відповіді: Як я можу розділити великий текстовий файл на шматки з 500 слів? Я намагаюся взяти текстовий файл ( http://mattmahoney.net/dc/text8.zip ) з> 10 ^ 7 слів, все в одному рядку, і розділити його на рядки з N слів кожен. Мій поточний підхід працює, але досить повільний …

11 text-processing  sed  awk  split 

У мене є дерево каталогів, яке я хотів би створити резервну копію на оптичних дисках. На жаль, він перевищує розмір будь-якого одного диска (це близько 60 ГБ). Я шукаю сценарій, який би розділив це дерево на шматки відповідного розміру із жорсткими посиланнями чи що-небудь (залишаючи оригінал недоторканим). Тоді я міг …

11 backup  disk-usage  split  burning 

У мене є три види даних, які є в різних форматах; для кожного типу даних існує сценарій Python, який перетворює його в єдиний єдиний формат. Цей скрипт Python повільний і пов'язаний з процесором (до одного ядра на багатоядерній машині), тому я хочу запустити три екземпляри цього - по одному для …

10 text-processing  pipe  split  parallelism 

У мене був великий (~ 60G) стислий файл ( tar.gz). Раніше я splitрозбивав його на 4 частини, а потім catз'єднував їх. Однак зараз, коли я намагаюся оцінити розмір нестисненого файлу, виявляється, він менший за оригінал? Як це можливо? $ gzip -l myfile.tar.gz compressed uncompressed ratio uncompressed_name 60680003101 3985780736 -1422.4% myfile.tar

9 compression  gzip  split 

У мене великий текстовий файл (~ 50Gb, коли gz'ed). Файл містить 4*Nрядки або Nзаписи; тобто кожен запис складається з 4 рядків. Я хотів би розділити цей файл на 4 менші файли розміром приблизно 25% від вхідного файлу. Як я можу розділити файл на межі запису? Наївним підходом було б zcat …

9 text-processing  sed  awk  split  wc 

Я завантажую досить гігантський файл у базу даних postgresql. Для цього я спочатку використовую splitу файлі для отримання менших файлів (30Gb кожен), а потім завантажую кожен менший файл у базу даних за допомогою GNU Parallelі psql copy. Проблема полягає в тому, що потрібно розділити файл близько 7 годин, а потім …

9 files  split  gnu-parallel