Ters grepping

Diyelim ki gerçekten büyük bir metin dosyam var (yaklaşık 10.000.000 satır). grepSonundan bir dosyaya ihtiyacım var ve sonucu bir dosyaya kaydetmem gerekiyor. Görevi başarmanın en etkili yolu nedir?

tac / grep Çözümü

tac file | grep whatever

Ya da biraz daha etkili:

grep whatever < <(tac file)

500 MB dosya içeren zaman:

real    0m1.225s
user    0m1.164s
sys     0m0.516s

sed / grep Çözümü:

sed '1!G;h;$!d' | grep whatever

500 MB dosya içeren süre: 10+ dakika sonra iptal edildi.

awk / grep Çözüm:

awk '{x[NR]=$0}END{while (NR) print x[NR--]}' file | grep whatever

500 MB dosya içeren zaman:

real    0m5.626s
user    0m4.964s
sys     0m1.420s

perl / grep Çözümü:

perl -e 'print reverse <>' file | grep whatever

500 MB dosya içeren zaman:

real    0m3.551s
user    0m3.104s
sys     0m1.036s

Bu çözüm yardımcı olabilir:

tac file_name | grep -e expression

Bu, ilk eşleşmeyi bulur bulmaz çıkar:

 tac hugeproduction.log | grep -m1 WhatImLookingFor

Aşağıdaki ilk iki maçtan önce ve sonra 5 satır verir:

 tac hugeproduction.log | grep -m2 -A 5 -B 5 WhatImLookingFor

-iGrep'i yavaşlatacağınız sürece, (büyük / küçük harfe duyarsız) kullanmamanızı unutmayın .

Tam olarak aradığınız dizeyi biliyorsanız o zaman düşünün fgrep(Sabit Dize)

 tac hugeproduction.log | grep -F -m2 -A 5 -B 5 'ABC1234XYZ'

Eğer dosya gerçekten büyükse, belleğe sığamıyorsaPerl , File :: ReadBackwards modülü ile kullanacağım CPAN:

$ cat reverse-grep.pl
#!/usr/bin/perl

use strict;
use warnings;

use File::ReadBackwards;

my $pattern = shift;
my $rev = File::ReadBackwards->new(shift)
    or die "$!";

while (defined($_ = $rev->readline)) {
    print if /$pattern/;
}

$rev->close;

Sonra:

$ ./reverse-grep.pl pattern file