Запитання з тегом «large-files»

Скажімо , у мене є величезний текстовий файл (> 2 Гб) , і я просто хочу catлінії Xдо Y(наприклад , 57890000 на 57890010). З того, що я розумію, я можу це зробити, headпереходячи в tailабо viceversa, тобто head -A /path/to/file | tail -B або альтернативно tail -C /path/to/file | head …

132 tail  cat  large-files  head 

У мене величезна (70 Гб), один рядок , текстовий файл, і я хочу замінити рядок (маркер) в ньому. Я хочу замінити маркер <unk>на інший фіктивний маркер ( випуск рукавичок ). Я спробував sed: sed 's/<unk>/<raw_unk>/g' < corpus.txt > corpus.txt.new але вихідний файл corpus.txt.newмає нульові байти! Я також спробував використовувати perl: …

126 text-processing  sed  large-files 

Величезний (до 2 ГБ) мій текстовий файл містить близько 100 точних дублікатів кожного рядка в ньому (в моєму випадку непотрібний, оскільки файл - це таблиця даних, схожа на CSV). Що мені потрібно - це видалити всі повтори, при цьому (бажано, але це може бути пожертвовано для значного підвищення продуктивності), підтримуючи …

126 files  text-processing  large-files 

У мене досить великий файл (35Gb), і я хотів би відфільтрувати цей файл in situ (тобто мені не вистачає дискового простору для іншого файлу), зокрема я хочу зірвати і проігнорувати деякі шаблони - чи є спосіб зробити це без використання іншого файлу? Скажімо, я хочу відфільтрувати всі рядки, що містять, …

54 text-processing  grep  large-files 

У мене є два великих файли (6 ГБ кожен). Вони несортовані, з \nроздільними каналами ( ) як роздільники. Як я можу їх відрізняти? Це має тривати менше 24 годин.

32 performance  diff  large-files 

Я спробував це з SCP, але він говорить "Негативний розмір файлу". >scp matlab.iso xxx@xxx:/matlab.iso matlab.iso: Negative file size Також спробував використовувати SFTP, добре працював, поки не перенесли 2 ГБ файлу, а потім зупинив: sftp> put matlab.iso Uploading matlab.iso to /home/x/matlab.iso matlab.iso -298% 2021MB -16651.-8KB/s 00:5d o_upload: offset < 0 Будь-яка …

27 scp  sftp  large-files 

У мене є текстовий файл розміром 25 Гб, який потребує заміни рядка лише в декількох рядках. Я можу sedуспішно користуватися, але для запуску потрібно дуже багато часу. sed -i 's|old text|new text|g' gigantic_file.sql Чи є швидший спосіб зробити це?

25 sed  replace  large-files 

У мене є ext4розділ 900 Гб на (магнітному) жорсткому диску, який не має дефектів і поганих секторів. Розділ повністю порожній, за винятком порожнього lost+foundкаталогу. Розділ був відформатований за допомогою параметрів за замовчуванням, за винятком того, що я встановив кількість зарезервованих блоків файлової системи на 1%. Я завантажив файл ~ 900 …

19 filesystems  ext4  large-files 

У мене каталог з приблизно 100000 невеликих файлів (кожен файл - 1-3 рядки, кожен файл - текстовий файл). За розміром каталог не дуже великий (<2 Гб). Ці дані перебувають на професійно керованому сервері NFS. Сервер працює під управлінням Linux. Я думаю, що файлова система ext3, але я не знаю точно. …

19 filesystems  large-files 

У мене є кілька файлів розміром> 1 Гб кожен. Мені потрібно видалити останні файли з байтів. Як я можу це зробити? Я вважаю за краще редагувати файл на місці, щоб заощадити місце на диску. Я на HP-UX.

18 files  editors  hp-ux  large-files 

Чи корисно використовувати прапор великого файлу -T для створення файлової системи для розділу з великими файлами, такими як відео та аудіо у форматі flac? Я тестував той самий розділ із цим прапором і без нього, і використовуючи tune2fs -l [розділ] , я перевірив "Особливості файлової системи", для яких обох увімкнено …

17 filesystems  ext4  ext3  large-files  ext2 

У такому ж дусі, як і це інше питання: котяча лінія X до рядка Y на величезному файлі : Чи є спосіб відкрити зсередини Emacs (і показати на буфері) заданий набір рядків (наприклад, всі рядки між рядком Xі Y) з величезного текстового файлу? Наприклад, відкрийте та покажіть у буфері всі …

10 emacs  large-files 

У мене текстовий файл розміром 250 Мб, все в одному рядку. У цьому файлі я хочу замінити aсимволи bсимволами: sed -e "s/a/b/g" < one-line-250-mb.txt Не вдається: sed: couldn't re-allocate memory Мені здається, що подібне завдання можна було б виконувати вбудованому, не виділяючи багато пам'яті. Чи є кращий інструмент для роботи …

10 text-processing  sed  performance  large-files  out-of-memory