Який простий спосіб зчитувати випадковий рядок з файлу в командному рядку Unix?

Який простий спосіб зчитувати випадковий рядок з файлу в командному рядку Unix?

Ви можете використовувати shuf:

shuf -n 1 $FILE

Існує також утиліта під назвою rl. У Debian він знаходиться в randomize-linesпакеті, який робить саме те, що ви хочете, але доступний не у всіх дистрибутивах. На своїй домашній сторінці він фактично рекомендує використовувати shufзамість цього (якого я не вірив, коли він був створений, я вважаю). shufє частиною GNU coreutils, rlні.

rl -c 1 $FILE

Ще одна альтернатива:

head -$((${RANDOM} % `wc -l < file` + 1)) file | tail -1

sort --random-sort $FILE | head -n 1

(Мені подобається підхід шуфа вище навіть краще - я навіть не знав, що існує, і я ніколи не знайшов би цей інструмент самостійно)

Це просто.

cat file.txt | shuf -n 1

Зрозуміло, що це лише в рази повільніше, ніж "shuf -n 1 file.txt" самостійно.

perlfaq5: Як вибрати випадковий рядок із файлу? Ось алгоритм відбору проб водойми з книги верблюдів:

perl -e 'srand; rand($.) < 1 && ($line = $_) while <>; print $line;' file

Це має значну перевагу в просторі перед читанням всього файлу в. Доказ цього методу ви можете знайти в «Мистецтві комп’ютерного програмування», том 2, розділ 3.4.2, Дональд Е. Кнут.

використовуючи скрипт bash:

#!/bin/bash
# replace with file to read
FILE=tmp.txt
# count number of lines
NUM=$(wc - l < ${FILE})
# generate random number in range 0-NUM
let X=${RANDOM} % ${NUM} + 1
# extract X-th line
sed -n ${X}p ${FILE}

Одинарна лінія баш:

sed -n $((1+$RANDOM%`wc -l test.txt | cut -f 1 -d ' '`))p test.txt

Незначна проблема: копія імені файлу.

Ось простий скрипт Python, який зробить цю роботу:

import random, sys
lines = open(sys.argv[1]).readlines()
print(lines[random.randrange(len(lines))])

Використання:

python randline.py file_to_get_random_line_from

Інший спосіб використання ' awk '

awk NR==$((${RANDOM} % `wc -l < file.name` + 1)) file.name

Рішення, яке також працює на MacOSX, а також має працювати в Linux (?):

N=5
awk 'NR==FNR {lineN[$1]; next}(FNR in lineN)' <(jot -r $N 1 $(wc -l < $file)) $file 

Де:

• N - кількість випадкових рядків, які ви хочете

• NR==FNR {lineN[$1]; next}(FNR in lineN) file1 file2 -> зберегти записані номери рядків file1і потім надрукувати відповідний рядок уfile2

• jot -r $N 1 $(wc -l < $file)-> намалювати Nчисла випадковим чином ( -r) в діапазоні (1, number_of_line_in_file)з jot. Заміна процесу <()зробить це схожим на файл для перекладача, як file1у попередньому прикладі.

#!/bin/bash

IFS=$'\n' wordsArray=($(<$1))

numWords=${#wordsArray[@]}
sizeOfNumWords=${#numWords}

while [ True ]
do
    for ((i=0; i<$sizeOfNumWords; i++))
    do
        let ranNumArray[$i]=$(( ( $RANDOM % 10 )  + 1 ))-1
        ranNumStr="$ranNumStr${ranNumArray[$i]}"
    done
    if [ $ranNumStr -le $numWords ]
    then
        break
    fi
    ranNumStr=""
done

noLeadZeroStr=$((10#$ranNumStr))
echo ${wordsArray[$noLeadZeroStr]}

Ось що я відкрив, оскільки моя ОС Mac не використовує всіх простих відповідей. Я використовував команду jot, щоб генерувати число, оскільки рішення змінної $ RANDOM, здається, не дуже випадкові в моєму тесті. Під час тестування мого рішення у мене було широке розходження в рішеннях, що надаються у висновку.

  RANDOM1=`jot -r 1 1 235886`
   #range of jot ( 1 235886 ) found from earlier wc -w /usr/share/dict/web2
   echo $RANDOM1
   head -n $RANDOM1 /usr/share/dict/web2 | tail -n 1

Відлуння змінної полягає в тому, щоб отримати візуальне згенероване випадкове число.

Використовуючи тільки sed і awk vanilla та без використання $ RANDOM, простий, просторовий та досить швидкий «однолінійний» для вибору псевдовипадкового випадкового ряду з файлу з назвою FILENAME:

sed -n $(awk 'END {srand(); r=rand()*NR; if (r<NR) {sub(/\..*/,"",r); r++;}; print r}' FILENAME)p FILENAME

(Це працює, навіть якщо FILENAME порожній, і в цьому випадку жодна рядок не випромінюється.)

Однією з можливих переваг такого підходу є те, що він викликає rand () лише один раз.

Як вказував @AdamKatz у коментарях, іншою можливістю буде викликати rand () для кожного рядка:

awk 'rand() * NR < 1 { line = $0 } END { print line }' FILENAME

(Простий доказ правильності можна навести на основі індукції.)

Кава о rand()

"У більшості дивних реалізацій, включаючи gawk, rand () починає генерувати номери з одного і того ж початкового номера або насіння, щоразу запускаючи awk."

- https://www.gnu.org/software/gawk/manual/html_node/Numeric-Functions.html