Bir dosyanın alt kümesini rastgele örnekleme

Bir dosyanın altkümesini örneklemek için kullanılabilecek herhangi bir Linux komutu var mı? Örneğin, bir dosya bir milyon satır içeriyor ve rastgele o dosyadan yalnızca bin satırını örneklemek istiyoruz.

Rastgele olarak, her çizginin seçilmek için aynı olasılığı elde ettiği ve seçilen çizgilerin hiçbirinin tekrarlayan olmadığı anlamına gelir.

headve taildosyanın bir alt kümesini seçebilir, ancak rasgele seçemez. Bunu yapmak için her zaman bir python betiği yazabileceğimi biliyorum ama sadece merak ediyorum bu kullanım için bir komut var.

shufKomutu (coreutils parçası) yapabilirsiniz:

shuf -n 1000 file

Ve en azından şimdilik (uygun olmayan durumlarda rezervuar örneklemesini kullanacak olan eski olmayan sürümleri ( 2013'ten yapılan bir taahhütte eklendi ), hafızasının tükenmemesi gerektiği ve hızlı bir algoritma kullandığı anlamına gelir.

Eğer bir varsa çok büyük bir dosya olduğunu göreceksiniz (bir örneği almak için yaygın nedeni olan):

1. shuf bellek tüketen
2. $RANDOMDosya 32767 satırını aşarsa, kullanma düzgün çalışmaz

Örneklenen satırlara "tam olarak" ihtiyacınız yoksa, şöyle bir oranın tadına varabilirsiniz :

cat input.txt | awk 'BEGIN {srand()} !/^$/ { if (rand() <= .01) print $0}' > sample.txt

Bu kullanır sabit bellek ,% 1 dosyasının örnekleri (dosyanın satır sayısını biliyorsanız çizgilerin sınırlı sayıda bir kapanış örneklemek için bu faktörünü ayarlayabilirsiniz) ve herhangi bir boyutu ile çalışmalarını dosyanın ama olmaz Sadece istatistiksel bir oranla kesin bir çizgi sayısı döndür.

Not: Kod, şunlardan gelir: https://stackoverflow.com/questions/692312/randomly-pick-lines-from-a-file-without-slurping-it-with-unix

@ Txangel'in olasılıksal çözümüne benzer ancak 100 kat daha hızlı yaklaşır.

perl -ne 'print if (rand() < .01)' huge_file.csv > sample.csv

Yüksek performansa, kesin bir örneklem boyutuna ihtiyacınız varsa ve dosyanın sonunda örnek bir boşlukla yaşamaktan memnunsanız, aşağıdaki gibi bir şey yapabilirsiniz (1m satırlık bir dosyadan 1000 satır örnekler):

perl -ne 'print if (rand() < .0012)' huge_file.csv | head -1000 > sample.csv

.. ya da gerçekten zincir yerine ikinci bir örnek yöntem head.

Durumda shuf -nbüyük dosyalar üzerinde hile bellek biterse ve hala sabit bir boyut örneğine ihtiyacım ve harici bir yarar daha sonra deneyin takılabilir örnek :

$ sample -N 1000 < FILE_WITH_MILLIONS_OF_LINES 

Uyarı, örneğin ( örnekteki 1000 satır) belleğe sığması gerektiğidir.

Yasal Uyarı: Önerilen yazılımın yazarıyım.

İstediğin şeyi yapabilecek tek bir komutun farkında değilsin ama işte bir araya getirdiğim işi yapabilecek bir döngü:

for i in `seq 1000`; do sed -n `echo $RANDOM % 1000000 | bc`p alargefile.txt; done > sample.txt

sed1000 geçişin her birinde rastgele bir çizgi belirleyecektir. Muhtemelen daha verimli çözümler var.

Aşağıdaki kodu bir dosyaya kaydedebilirsiniz (örneğin randextract.sh) ve aşağıdaki gibi çalıştırılabilir:

randextract.sh file.txt

---- BAŞLANGIÇ DOSYASI ----

#!/bin/sh -xv

#configuration MAX_LINES is the number of lines to extract
MAX_LINES=10

#number of lines in the file (is a limit)
NUM_LINES=`wc -l $1 | cut -d' ' -f1`

#generate a random number
#in bash the variable $RANDOM returns diferent values on each call
if [ "$RANDOM." != "$RANDOM." ]
then
    #bigger number (0 to 3276732767)
    RAND=$RANDOM$RANDOM
else
    RAND=`date +'%s'`
fi 

#The start line
START_LINE=`expr $RAND % '(' $NUM_LINES - $MAX_LINES ')'`

tail -n +$START_LINE $1 | head -n $MAX_LINES

---- SON DOSYA ----

Dosyadaki satır sayısını biliyorsanız (durumunuzdaki 1e6 gibi), şunları yapabilirsiniz:

awk -v n=1e6 -v p=1000 '
  BEGIN {srand()}
  rand() * n-- < p {p--; print}' < file

Değilse, her zaman yapabilirsiniz

awk -v n="$(wc -l < file)" -v p=1000 '
  BEGIN {srand()}
  rand() * n-- < p {p--; print}' < file

Bu dosyada iki geçiş yapar, ancak yine de tüm dosyayı bellekte saklamaktan kaçının.

GNU'ya göre bir diğer avantaj shuf, dosyadaki satırların sırasını korumasıdır.

O varsayar Not n olan dosyadaki satırların sayısı. Yazdırmak istediğiniz takdirde pdışarı birinci n (potansiyel olarak daha fazla çizgiler vardır) dosyanın hatları, durdurmak gerekiyordu awkde n^inci gibi sıraya:

awk -v n=1e6 -v p=1000 '
  BEGIN {srand()}
  rand() * n-- < p {p--; print}
  !n {exit}' < file

Başlık satırını korumak istediğimde ve örneğin dosyanın yaklaşık bir yüzdesi olabildiğinde bunun için awk kullanmayı seviyorum. Çok büyük dosyalar için çalışıyor:

awk 'BEGIN {srand()} !/^$/ { if (rand() <= .01 || FNR==1) print > "data-sample.txt"}' data.txt

Veya bunun gibi:

LINES=$(wc -l < file)  
RANDLINE=$[ $RANDOM % $LINES ]  
tail -n $RANDLINE  < file|head -1  

Beşinci adam sayfasından:

        RANDOM Bu parametreye her referansta, rastgele bir tamsayı
              0 ile 32767 arasında üretilir. Rastgele dizisi
              RAN‐'ya bir değer atanarak sayılar başlatılabilir.
              DOM. RANDOM ayarlanmamışsa, özel özelliğini kaybeder‐
              Daha sonra sıfırlansa bile bağlar.

Dosya boyutunuz büyük değilse, Rastgele sıralamayı kullanabilirsiniz. Bu shuf'tan biraz daha uzun sürüyor, ancak tüm verileri rasgele hale getiriyor. Böylece, istediğiniz gibi baş kullanmak için kolayca aşağıdakileri yapabilirsiniz:

sort -R input | head -1000 > output

Bu dosyayı rastgele sıralar ve ilk 1000 satırı verirdi.

Kabul edilen cevapta belirtildiği gibi, GNU shufbasit rastgele örneklemeyi ( shuf -n) oldukça iyi desteklemektedir. Tarafından desteklenen ötesinde örnekleme yöntemleri ise shufihtiyaç vardır, düşünün tsv-numuneyi gelen eBay'in TSV Utilities . Ağırlıklı rasgele örnekleme, Bernoulli örneklemesi ve farklı örnekleme dahil olmak üzere birkaç ek örnekleme modunu destekler. Performans GNU'ya benzer shuf(her ikisi de oldukça hızlı). Yasal Uyarı: Ben yazarım.