Bash'da, bir arbitary byte count ofsetinden bir dosya okumaya başlamak mümkün müdür?

8 GB günlüğünde (metin) bir yerde bir tarih bulmak istiyorum.

Tam bir sıralı okumayı bir şekilde atlayabilir miyim ve önce uygun bir ofset bulana kadar her bir ayrılma noktasından okumaya başlamak için dosyanın ikili boyutunu (boyut) veya bir şekilde dosya sisteminde gezinmeyi inodes( çok az şey biliyorum ) tarihi içeren bir satır için metin aramam nerede başlatılır?

tailson satırın okunması normal bir sıralı okuma kullanmaz, bu yüzden bu tesis bir şekilde bash'de kullanılabilir mi, yoksa Python veya C / C ++ kullanmam gerekir mi ... ama özellikle bir bashseçenekle ilgileniyorum ..

for (( block = 0; block < 16; block += 1 ))
do 
    echo $block; 
    dd if=INPUTFILE skip=$((block*512))MB bs=64 count=1 status=noxfer 2> /dev/null | \
        head -n 1
done

hangi .. geçici bölünmüş dosya oluşturmaz, blokları atlar * her çalıştırmada 512MB veri, bu konumdan 64 bayt okur ve çıkışı bu 64 baytın ilk satırına sınırlar.

64'ü ihtiyacınız olan her şeye göre ayarlamak isteyebilirsiniz.

Kulağa istediğiniz gibi geliyor:

tail -c +1048576

veya atlamak istediğiniz bayt sayısı. Artı işareti kuyruğa dosyanın başından sonuna kadar ölçüm yapmasını söyler. Kuyruğun GNU sürümünü kullanıyorsanız şu şekilde yazabilirsiniz:

tail -c +1M

Kesimden sonra, dosyanın geri kalanının tamamı yerine sabit sayıda bayt elde etmek için, sadece başından geçirin:

tail -c +1048576 | head -c 1024

Daha hızlı ayrıştırma için günlüğü 512MiB parçalarına bölmek için böyle bir şey denerdim.

split <filename> -b 536870912

Dosyayı arıyorsanız aşağıdakiler işe yarayacaktır:

for file in x* ; do
  echo $file
  head -n 1 $file
done

Tarihiniz için hangi dosyanın grepleneceğini belirlemek için bu çıktıyı kullanın.

İşte benim senaryom, ilk satır numaramı eşleşen ilk satır arıyorum. Çizgiler ilk alana göre sıralanır. 128K'lık blokların ilk satırını kontrol etmek için dd kullanıyorum, sonra bloğa atlayıp bir arama yapıyorum. Verimliliği artırmak dosya 1M üzerinde olduğunu.

Herhangi bir yorum veya düzeltme takdir!

#!/bin/bash

search=$1;
f=$2;

bs=128;

max=$( echo $(du $f | cut -f1)" / $bs" | bc );
block=$max;
for i in $(seq 0 $max); do
 n=$(dd bs=${bs}K skip=$i if=$f 2> /dev/null| head -2 | tail -1 | cut -f1)
 if [ $n -gt $search ]; then
  block=`expr $i - 1` 
  break;
 fi
done; 
dd bs=${bs}K skip=$block if=$f 2> /dev/null| tail -n +2 | awk -v search="$search" '$1==search{print;exit 1;};$1>search{exit 1;};';

* DÜZENLEME * ** grep çok daha hızlı ve daha iyi ack