Unix komut satırındaki bir dosyadan rastgele satırı okumanın kolay yolu nedir?

Unix komut satırındaki bir dosyadan rastgele satırı okumanın kolay yolu nedir?

Şunları kullanabilirsiniz shuf:

shuf -n 1 $FILE

Ayrıca bir yardımcı program var rl. Debian'da randomize-lines, tüm dağıtımlarda mevcut olmasa da, tam olarak ne istediğinizi yapan pakette bulunur. Ana sayfasında aslında shufbunun yerine kullanılmasını önerir (yaratıldığında mevcut değildi, inanıyorum). shufGNU coreutils'in bir parçası rl, değil.

rl -c 1 $FILE

Başka bir alternatif:

head -$((${RANDOM} % `wc -l < file` + 1)) file | tail -1

sort --random-sort $FILE | head -n 1

(Yukarıdaki shuf yaklaşımını daha da seviyorum - bunun var olduğunu bile bilmiyordum ve bu aracı asla kendi başıma bulamazdım)

Bu basit.

cat file.txt | shuf -n 1

Bu sadece "shuf -n 1 file.txt" den biraz daha yavaş verilmiş.

perlfaq5: Bir dosyadan rastgele bir çizgi nasıl seçerim? Deve Kitabı'ndan bir rezervuar örnekleme algoritması:

perl -e 'srand; rand($.) < 1 && ($line = $_) while <>; print $line;' file

Bu, tüm dosyayı okumaya göre uzayda önemli bir avantaja sahiptir. Bu yöntemin bir kanıtını Donald E. Knuth'un Bilgisayar Programlama Sanatı, Cilt 2, Bölüm 3.4.2'de bulabilirsiniz.

bir bash betiği kullanarak:

#!/bin/bash
# replace with file to read
FILE=tmp.txt
# count number of lines
NUM=$(wc - l < ${FILE})
# generate random number in range 0-NUM
let X=${RANDOM} % ${NUM} + 1
# extract X-th line
sed -n ${X}p ${FILE}

Tek bash hattı:

sed -n $((1+$RANDOM%`wc -l test.txt | cut -f 1 -d ' '`))p test.txt

Hafif sorun: yinelenen dosya adı.

İşte işi yapacak basit bir Python betiği:

import random, sys
lines = open(sys.argv[1]).readlines()
print(lines[random.randrange(len(lines))])

Kullanımı:

python randline.py file_to_get_random_line_from

' Awk ' kullanmanın başka bir yolu

awk NR==$((${RANDOM} % `wc -l < file.name` + 1)) file.name

MacOSX üzerinde de çalışan ve Linux üzerinde de çalışması gereken bir çözüm (?):

N=5
awk 'NR==FNR {lineN[$1]; next}(FNR in lineN)' <(jot -r $N 1 $(wc -l < $file)) $file 

Nerede:

• N istediğiniz rastgele satır sayısı

• NR==FNR {lineN[$1]; next}(FNR in lineN) file1 file2 -> Yazılan satır numaralarını kaydedin file1ve ardından ilgili satırıfile2

• jot -r $N 1 $(wc -l < $file)-> çizmek Nrastgele (sayıları -raralığında) (1, number_of_line_in_file)ile jot. Süreç ikamesi <(), tercüman için bir dosya gibi görünmesini sağlayacaktır, bu nedenle file1önceki örnekte.

#!/bin/bash

IFS=$'\n' wordsArray=($(<$1))

numWords=${#wordsArray[@]}
sizeOfNumWords=${#numWords}

while [ True ]
do
    for ((i=0; i<$sizeOfNumWords; i++))
    do
        let ranNumArray[$i]=$(( ( $RANDOM % 10 )  + 1 ))-1
        ranNumStr="$ranNumStr${ranNumArray[$i]}"
    done
    if [ $ranNumStr -le $numWords ]
    then
        break
    fi
    ranNumStr=""
done

noLeadZeroStr=$((10#$ranNumStr))
echo ${wordsArray[$noLeadZeroStr]}

İşte Mac OS'm tüm kolay cevapları kullanmadığı için keşfettiğim şey. $ RANDOM değişken çözümleri benim test çok rasgele görünmüyor çünkü bir sayı oluşturmak için jot komutunu kullandım. Çözümümü test ederken, çıktıda sağlanan çözümlerde büyük bir fark vardı.

  RANDOM1=`jot -r 1 1 235886`
   #range of jot ( 1 235886 ) found from earlier wc -w /usr/share/dict/web2
   echo $RANDOM1
   head -n $RANDOM1 /usr/share/dict/web2 | tail -n 1

Değişkenin yankısı, üretilen rastgele sayının bir görselini elde etmektir.

Yalnızca vanilya sed ve awk kullanarak ve $ RANDOM kullanmadan, FILENAME adlı bir dosyadan rasgele tek bir satır seçmek için basit, yerden tasarruf sağlayan ve oldukça hızlı bir "tek astar" aşağıdaki gibidir:

sed -n $(awk 'END {srand(); r=rand()*NR; if (r<NR) {sub(/\..*/,"",r); r++;}; print r}' FILENAME)p FILENAME

(Bu, FILENAME boş olsa bile çalışır, bu durumda hiçbir satır yayınlanmaz.)

Bu yaklaşımın olası bir avantajı, rand () işlevini yalnızca bir kez çağırmasıdır.

Yorumlarda @AdamKatz tarafından işaret edildiği gibi, her bir satır için rand () öğesini çağırmak başka bir olasılık olacaktır:

awk 'rand() * NR < 1 { line = $0 } END { print line }' FILENAME

(İndüksiyon temelinde basit bir doğruluk kanıtı verilebilir.)

Hakkında uyarı rand()

"Gawk dahil olmak üzere çoğu awk uygulamasında, rand () her awk çalıştırdığınızda aynı başlangıç ​​numarasından veya tohumdan numaralar üretmeye başlar."

- https://www.gnu.org/software/gawk/manual/html_node/Numeric-Functions.html