“Wc -l” den daha hızlı bir şeye ihtiyacınız var

1GB gibi gerçekten büyük bir dosya wc -lyavaş olur. Belirli bir dosya için yeni satır sayısını hesaplamanın daha hızlı bir yolu var mı?

C ile yazmayı deneyebilirsiniz :

#include <unistd.h>
#include <stdio.h>
#include <string.h>
int main(){
  char buf[BUFSIZ];
  int nread;
  size_t nfound=0;
  while((nread=read(0, buf, BUFSIZ))>0){
    char const* p;
    for(p=buf; p=memchr(p,'\n',nread-(p-buf)); nfound++,p++) {;}
  }
  if(nread<0) { perror("Error"); return 1; }
  printf("%lu\n", nfound);
  return 0;
}

Örneğin ile kaydedin, örneğin wcl.cderleyin gcc wcl.c -O2 -o wclve ile çalıştırın

<yourFile ./wcl

Bu, yeni satırları sistemimdeki 1 GB'lık bir dosyaya yaklaşık 370 ms'de serpiştirir (tekrarlanan çalışır). (Arabellek boyutlarının artırılması beklenilen süreyi biraz arttırır - BUFSIZ en uygun seviyeye yakın olmalıdır). Bu ~ çok karşılaştırılabilir 380ms ben den alıyorum wc -l.

Mmaping bana yaklaşık 280ms'lik daha iyi bir zaman veriyor , ancak elbette gerçek dosyalarla sınırlı olma sınırlaması var (FIFOS yok, terminal girişi yok, vb.):

#include <stdio.h>
#include <string.h>
#include <sys/mman.h>
#include <sys/stat.h>
#include <sys/types.h>
#include <unistd.h>
int main(){
  struct stat sbuf;
  if(fstat(0, &sbuf)<0){ perror("Can't stat stdin"); return 1; }

  char* buf = mmap(NULL, sbuf.st_size, PROT_READ, MAP_PRIVATE, 0/*stdin*/, 0/*offset*/);
  if(buf == MAP_FAILED){ perror("Mmap error"); return 1; } 

  size_t nread = sbuf.st_size, nfound=0;
  char const* p;
  for(p=buf; p=memchr(p,'\n',nread-(p-buf)); nfound++,p++) {;}

  printf("%lu\n", nfound);
  return 0;
}

Test dosyamı aşağıdakilerle oluşturdum:

 $ dd if=/dev/zero of=file bs=1M count=1042 

ve aşağıdakilerle bazı test satırları ekledi:

 $ echo >> 1GB 

ve bir hex editörü.

@Pskocik tarafından önerilen çözüm sayısını, çağrı sayısını azaltarak geliştirebilirsiniz read. Bir 1Gb dosyasından parçaları okumak için birçok çağrı var BUFSIZ. Bunu yapmak için olağan yaklaşım, arabellek boyutunu artırmaktır:

• sadece eğlence için, arabellek boyutunu 10 kat artırmayı deneyin. Veya 100. Debian 7'de BUFSIZ8192'dir. Orijinal programla, bu 120 bin okuma işlemidir. 100 faktörü azaltmak için muhtemelen 1Mb giriş tamponu alabilirsiniz.
• daha uygun bir yaklaşım için, uygulamalar tek bir okuma işlemi gerektiren dosya kadar büyük bir tampon ayırabilir. Bu, "küçük" dosyalar için yeterince iyi çalışır (bazı okuyucuların makinelerinde 1 Gb'den fazla olmasına rağmen).
• son olarak, tahsisi bu şekilde işleyen bellek eşlemeli G / Ç ile deney yapabilirsiniz.

Çeşitli yaklaşımları karşılaştırırken, bazı sistemlerin (Linux gibi) makinenizin kullanılmayan belleğinin çoğunu disk önbelleği olarak kullandığını unutmayın. Bir süre önce (neredeyse 20 yıl önce, aşağılık SSS'de bahsedildi ), bir metin düzenleyicide düşük bellek koşullarını ele almak için geliştirdiğim (çok iyi değil) bir sayfalama algoritmasından beklenmedik şekilde iyi sonuçlar aldım. Programın dosyayı okumak için kullanılan bellek tamponlarından çalıştığı için hızlı çalıştığı ve sadece dosya yeniden okunduğunda veya yazıldığında hızda bir fark olacağı açıklandı.

Aynı şey mmap(başka bir durumda hala bir SSS'ye dahil etmek için yapılacaklar listemde, bir geliştirici disk önbelleğinin iyileştirmenin gerçek nedeni olduğu bir senaryoda çok iyi sonuçlar bildirdi). Karşılaştırma ölçütlerinin geliştirilmesi, iyi (veya kötü) performansın nedenlerini analiz etmek için zaman ve özen gerektirir.

Daha fazla okuma:

• Daha büyük bir tampon kullanmak faydalı mı?
• mmap () ve okuma blokları
• mmap, munmap - dosyaları veya aygıtları belleğe eşleme veya eşlemelerini kaldırma (örnek bir program gösterir)
• 13.7 Bellek eşlemeli G / Ç (GNU C Kütüphanesi)
• Linux'ta disk I / O önbellekleri nasıl temizlenir
• Bir Linux sisteminde arabellekleri ve önbelleği nasıl boşaltırsınız?