Як довільно вибірки підмножини файлу

Чи є якась команда Linux, яку можна використовувати для вибірки підмножини файлу? Наприклад, файл містить один мільйон рядків, і ми хочемо випадково відібрати лише тисячу рядків із цього файлу.

Я випадково маю на увазі, що кожен рядок отримує однакову ймовірність бути обраним, і жоден із обраних рядків не повторюється.

headі tailможе вибрати підмножину файлу, але не випадковим чином. Я знаю, що завжди можу написати сценарій python для цього, але просто цікаво, чи є команда для цього використання.

shufКоманда (частина Coreutils) може зробити це:

shuf -n 1000 file

І принаймні, поки що не стародавні версії (додані в комітеті з 2013 року ), які використовуватимуть вибірку резервуарів, коли це доречно, це означає, що вона не повинна закінчуватися пам'яттю і використовує швидкий алгоритм.

Якщо у вас дуже великий файл (що є загальною причиною взяти зразок), ви виявите, що:

1. shuf вичерпує пам’ять
2. Використання $RANDOMне працюватиме правильно, якщо файл перевищує 32767 рядків

Якщо вам не потрібно "точно" n вибіркових рядків, ви можете взяти вибірку таким співвідношенням :

cat input.txt | awk 'BEGIN {srand()} !/^$/ { if (rand() <= .01) print $0}' > sample.txt

Для цього використовується постійна пам'ять , відбирає 1% файлу (якщо ви знаєте кількість рядків файлу, ви можете налаштувати цей фактор для вибірки, близької до обмеженої кількості рядків), і працює з будь-яким розміром файлу, але він не буде повернути точну кількість рядків, просто статистичне співвідношення.

Примітка. Код походить від: https://stackoverflow.com/questions/692312/randomly-pick-lines-from-a-file-without-slurping-it-with-unix

Схожий на ймовірнісне рішення @ Txangel, але наближається до 100 разів швидше.

perl -ne 'print if (rand() < .01)' huge_file.csv > sample.csv

Якщо вам потрібна висока продуктивність, точний розмір вибірки, і ви раді жити з пробним зразком в кінці файлу, ви можете зробити щось на зразок наступного (зразки 1000 рядків з файлу рядка в 1 м):

perl -ne 'print if (rand() < .0012)' huge_file.csv | head -1000 > sample.csv

.. або дійсно ланцюжок другого методу вибірки замість head.

Якщо shuf -nфокус у великих файлах закінчується пам'яттю, і вам все ще потрібен зразок фіксованого розміру, а зовнішня утиліта може бути встановлена, то спробуйте зразок :

$ sample -N 1000 < FILE_WITH_MILLIONS_OF_LINES 

Застереження полягає в тому, що зразок (1000 рядків у прикладі) повинен вміститись у пам'яті.

Відмова: Я є автором рекомендованого програмного забезпечення.

Не знаю жодної команди, яка могла б зробити те, що ви просите, але ось я зібрав цикл, який може виконати цю роботу:

for i in `seq 1000`; do sed -n `echo $RANDOM % 1000000 | bc`p alargefile.txt; done > sample.txt

sedпідбере випадкову лінію на кожному з 1000 проходів. Можливо, є більш ефективні рішення.

Ви можете зберегти наступний код у файлі (на прикладі randextract.sh) і виконати як:

randextract.sh file.txt

---- ПОЧАТОК ФАЙЛ ----

#!/bin/sh -xv

#configuration MAX_LINES is the number of lines to extract
MAX_LINES=10

#number of lines in the file (is a limit)
NUM_LINES=`wc -l $1 | cut -d' ' -f1`

#generate a random number
#in bash the variable $RANDOM returns diferent values on each call
if [ "$RANDOM." != "$RANDOM." ]
then
    #bigger number (0 to 3276732767)
    RAND=$RANDOM$RANDOM
else
    RAND=`date +'%s'`
fi 

#The start line
START_LINE=`expr $RAND % '(' $NUM_LINES - $MAX_LINES ')'`

tail -n +$START_LINE $1 | head -n $MAX_LINES

---- ЗАКОННИЙ ФАЙЛ ----

Якщо ви знаєте кількість рядків у файлі (наприклад, 1e6 у вашому випадку), ви можете зробити:

awk -v n=1e6 -v p=1000 '
  BEGIN {srand()}
  rand() * n-- < p {p--; print}' < file

Якщо ні, то завжди можна зробити

awk -v n="$(wc -l < file)" -v p=1000 '
  BEGIN {srand()}
  rand() * n-- < p {p--; print}' < file

Це зробило б два проходи у файлі, але все-таки уникати збереження всього файлу в пам'яті.

Ще одна перевага перед GNU shufполягає в тому, що він зберігає порядок рядків у файлі.

Зверніть увагу , що він приймає n це число рядків у файлі. Якщо ви хочете роздрукувати pз перших n рядків файлу (який потенційно більше ліній), ви повинні були б зупинитися awkна n^й рядки , наприклад:

awk -v n=1e6 -v p=1000 '
  BEGIN {srand()}
  rand() * n-- < p {p--; print}
  !n {exit}' < file

Мені подобається використовувати awk для цього, коли я хочу зберегти рядок заголовка, і коли зразок може становити приблизний відсоток файлу. Працює для дуже великих файлів:

awk 'BEGIN {srand()} !/^$/ { if (rand() <= .01 || FNR==1) print > "data-sample.txt"}' data.txt

Або так:

LINES=$(wc -l < file)  
RANDLINE=$[ $RANDOM % $LINES ]  
tail -n $RANDLINE  < file|head -1  

З сторінки "bash man":

        RANDOM Щоразу, коли цей параметр посилається, випадкове ціле число
              між 0 і 32767 генерується. Послідовність випадкових
              числа можуть бути ініціалізовані шляхом присвоєння значення RAN-
              DOM. Якщо RANDOM не налаштований, він втрачає особливі властивості
              зв’язки, навіть якщо вони згодом скидаються.

Якщо розмір файлу не величезний, можна використовувати Сортування випадкових. Це займає трохи більше часу, ніж шуф, але воно рандомізує всі дані. Отже, ви можете просто виконати наступне, щоб використовувати голову, як вимагали:

sort -R input | head -1000 > output

Це дозволить сортувати файл випадковим чином і дасть вам перші 1000 рядків.

Як згадується у прийнятій відповіді, GNU досить добре shufпідтримує просту випадкову вибірку ( shuf -n). Якщо shufпотрібні методи вибірки, що перевищують ті, що підтримуються , врахуйте tsv-зразок із TSV Utilities eBay . Він підтримує декілька додаткових режимів вибірки, включаючи зважений випадковий вибірковий відбір, відбір Бернуллі та вибіркову вибірку. Продуктивність схожа на GNU shuf(обидва досить швидкі). Відмова: Я автор.