Сортування вмісту надзвичайно великого (800 ГБ) текстового файлу у Windows

Я маю текст файл з словом у кожному рядку, розмір файлу - 800 Гб. Мені потрібно сортувати слова в алфавітному порядку.

Я спробував використати Windows сортувати використання програми:

sort.exe input.txt /o output.txt

що дає помилку: Недостатньо основної пам'яті для завершення сортування.

У мене 32 ГБ ОЗП тому, коли я намагаюся вказати 10 Гб пам'яті для сортування за допомогою:

sort.exe input.txt /o output.txt /M 10000000

Я отримав:

Попередження: вказаний обсяг пам'яті зменшується до доступної пам'яті.

Вхідний запис перевищує максимальну довжину. Вкажіть більший максимум.

Які мої варіанти?

Які мої варіанти?

Спробуйте Freeware Командний рядок утиліти сортування CMSort .

Він використовує кілька тимчасових файлів, а потім об'єднує їх в кінці.

CMsort читає записи вхідного файлу, поки не буде досягнута налаштована пам'ять. Потім записи сортуються і записуються у тимчасовий файл. Це буде повторюватись, доки не будуть оброблені всі записи. Нарешті, всі тимчасові файли об'єднані у вихідний файл. Якщо доступної пам'яті достатньо, тимчасові файли не записуються і об'єднання не потрібне.

Один користувач повідомляє, що він сортував файл розміром 130 000 000 байт.

Якщо ви хочете самостійно налаштувати деякі коди, є також Сортування величезних текстових файлів - CodeProject - "Алгоритм сортування рядків у текстових файлах, розмір якого перевищує доступну пам'ять"

Ще один варіант - завантажити файл у базу даних. E.G MySQL і MySQL Workbench.
Бази даних - ідеальні кандидати для роботи з великими файлами

Якщо вхідний файл містить лише слова, розділені новим рядком, це не повинно бути занадто жорстким.

Після встановлення бази даних і MySQL Workbench це потрібно зробити.
Спочатку створіть схему (це припускає, що слова не перевищуватимуть 255 символів, хоча ви можете змінити це, збільшивши значення аргументу). Перший стовпець "idwords" є первинним ключем.

CREATE SCHEMA `tmp` ;

CREATE TABLE `tmp`.`words` (
  `idwords` INT NOT NULL AUTO_INCREMENT,
  `mywords` VARCHAR(255) NULL,
  PRIMARY KEY (`idwords`));

По-друге, імпортуйте дані: Це дозволить імпортувати всі слова в таблицю (цей крок може зайняти деякий час. Моя порада полягає в тому, щоб спершу запустити тест з файлом невеликих слів і після того, як ви впевнені, що формат такий же, як і більший (скорочення таблицю .. IE Очистіть його і завантажте повний набір даних).

LOAD DATA LOCAL INFILE "C:\\words.txt" INTO TABLE tmp.words
LINES TERMINATED BY '\r\n'
(mywords);

Це посилання може допомогти отримати правильний формат для завантаження. https://dev.mysql.com/doc/refman/5.7/en/load-data.html
E.G Якщо вам потрібно пропустити перший рядок, виконайте наступне.

LOAD DATA LOCAL INFILE "H:\\words.txt" INTO TABLE tmp.words
-- FIELDS TERMINATED BY ','
LINES TERMINATED BY '\r\n'
IGNORE 1 LINES
(mywords);

Нарешті, збережіть відсортований файл. Це може зайняти деякий час, в залежності від вашого ПК.

SELECT tmp.words.mywords
FROM tmp.words
order by tmp.words.mywords asc
INTO OUTFILE 'C:\\sorted_words.csv';

Ви також можете шукати дані за власним бажанням. E.G. Це дасть вам перші 50 слів у порядку зростання (починаючи з 0-го або першого слова).

SELECT tmp.words.mywords
FROM tmp.words
order by tmp.words.mywords asc
LIMIT 0, 50 ;

Удачі
Піт

sort

Існує безліч алгоритмів, які використовуються для сортування впорядкованих і не впорядкованих файлів ^{[ 1 ]} .
Оскільки всі ці алгоритми вже реалізовані, виберіть програму, яка вже перевірена.

В coreutils (з Linux, але доступний і для вікон ^{[ 2 ]} ), вона існує sort Команда, здатна працювати паралельно під багатоядерними процесорами: зазвичай її достатньо.

Якщо ваш файл настільки величезний ви можете допомогти обробці розбиття ( split -l ), файл у деяких фрагментах, можливо, використовуючи паралельний варіант ( --parallel ), і сортування наведених замовлені шматки з -m опція ( merge sort ).
Один з багатьох способів цього пояснюється тут (розділити файл, замовити окремі шматки, об'єднати замовлені шматки, видалити тимчасові файли).

Примітки:

• У вікнах 10 існують так звані Підсистема Windows для Linux в якому весь приклад Linux буде здаватися більш природним.
• Сортування з різними алгоритмами має різний час виконання, яке масштабується як функція кількості записів даних, які необхідно відсортувати (O (n ^m ), O (nlogn) ...).
• Ефективність алгоритму залежить від порядку, який вже присутній у вихідному файлі.
  (Наприклад a сорт міхура є найбільш швидким алгоритмом для вже впорядкованого файлу - точно N -, але він не ефективний в інших випадках).

Щоб запропонувати альтернативне рішення Петру H, є програма q яка дозволяє командам стилю SQL проти текстових файлів. Команда нижче зробить те ж саме (запустити з командного рядка в тому ж каталозі, що і файл), не потрібно встановлювати SQL Workbench або створювати таблиці.

q "select * from words.txt order by c1"

c1 є скороченням для стовпця 1.

Можна виключити повторювані слова з

q "select distinct c1 from words.txt order by c1"

і надсилати вихід до іншого файлу

q "select distinct c1 from words.txt order by c1" > sorted.txt