Logstash'ı bir dosyayı yeniden ayrıştırmaya nasıl zorlayabilirim?

Apache dosyalarını ayrıştırmak için Logstash'ı kurdum. Ayarları doğru yapmam epeyce uzun sürdü ve her zaman gerçek günlükleri denedim. Logstash'in dosyanın nerede olduğunu "hatırladığını" fark ettim (dokümantasyonun dediği gibi). Şimdi ayarlarım tamam ve Logstash'ın "unutmasını" istiyorum. Bu benden daha zor görünüyor. Ben zaten şunları yaptım:

• Kullanılmış: start_position => "beginning"

• elastissearch'ten tüm "data" klasörünü sildi (ve önce onu durdurdu)

• logstash tarafından hangi dosyaların nerede açıldığına baktım ve lsof -p PIDümit verici olan her şeyi sildi (benim durumumda /tmp/jffi*.tmp)

Yine de Logstash, günlüklerin bulunduğu klasördeki yalnızca "yeni" dosyaları unutmaz ve ayrıştırmaz

Herhangi bir fikir?

Varsayılan olarak, logstash, konumun en son olduğunu genellikle içinde bulunan bir günlük dosyasına yazar $HOME/.sincedb. Logstash o belirterek logfile'a çözümlenen asla inandırarak aptal olabilir /dev/nullolarak sincedb_path.

Giriş Dosyasının dokümantasyon bölümü burada .

Veritabanının nereye yazılacağı (izlenen günlük dosyalarının mevcut konumunun kaydını tutar). "$ SINCEDB_PATH" veya "$ HOME / .sincedb" ortam değişkeninin değerine varsayılan değer.

Yapılandırma Örneği

input {
    file {
        path => "/tmp/logfile_to_analyse"
        start_position => "beginning"
        sincedb_path => "/dev/null"
    }
}

Sincedb dosyasındaki "kirinde", temerrüt eklenti dosya deposu geçmişi: $ / .sincedb *, bkz ANA altında http://logstash.net/docs/1.3.3/inputs/file#sincedb_path

Db dosyası aşağıdaki gibi satır içerir:

[inode] [major device number] [minor device number] [byte offset]

Dolayısıyla, eksiksiz bir dosyayı yeniden ayrıştırmak istiyorsanız, yapmanız gerekenler:

• sindedb dosyalarını sil
• VEYA yalnızca sincedb dosyasındaki ilgili satırı silin, dosyanızın önündeki inode numarasını kontrol edin ( ls -i yourFile | awk '{print $1}')
• Ve Logstash'ı yeniden başlatın

start_position => "beginning"Logstash anahtarla tüm dosyayı analiz eder.

Sincedb dosyası örneği:

• ad:: .sincedb_7a7413a84171aa550d5318c17fd756e9ad sincedb_ ve anahtar yolundaki ( http://logstash.net/docs/1.3.3/inputs/file#path ) tüm dizinin bir MD5 (Digest :: MD5.hexdigest) içerir . Eklenti dosyasının koduna bakın: https://github.com/logstash/logstash/blob/master/lib/logstash/inputs/file.rb#L105

Logstash, kaydı içeride tutacaktır $HOME/.sincedb_*. Tüm .sincedblogstash'i silebilir ve yeniden başlatabilirsiniz, Logstash dosyayı yeniden ayrıştırır.

Tüm yanıtları birleştirerek, sanırım bu dosyaları çözümlemenin en iyi yolu. Ben de aynısını testim için yaptım.

input {
  file {
    path => "/tmp/access_log"
    start_position => beginning
    sincedb_path => "/dev/null"
    ignore_older => 0
  }
}

Hızlı bir test için bunun yerine dosyanın zaman damgasını ignore_olderda touch /tmp/access_logdeğiştirebilirsiniz.

Logstash-forwarder kullanıyorsanız .logstash-forwarderbunun yerine evinizde dosya olup olmadığını kontrol edin :

{
  "/var/log/messages": {
    "source": "/var/log/messages",
    "offset": 43715,
    "inode": 12967,
    "device": 51776
  }
}

$HOME/.sincedb_*Sildikten sonra hala benim için veri almıyordu.

Bir sürü şeyi denedikten sonra, ana .confdosya /etc/logstash/conf.ddışındaki her şeyi kaldırdım ve Logstash'ı yeniden başlattım ve her şey çalıştı. Sadece .confdosyalardan birinde logstash'in sessizce beklediği bir şey olduğunu varsayabilirim.

Dosyanın içinde büyük veri varsa, her seferinde yeniden ayrıştırma çok maliyetlidir. Bu yüzden bunu yapmadan önce dikkatli olmalısın. Yeniden ayrıştırmaya zorlamak istiyorsak, parametreyi giriş bloğu içinde ayarlayın.

sincedb_path => "/dev/null" 

Bu seçenek .sincedb dosyasını depolamayacak ve logstash her seferinde yeniden ayrıştırılacaktır. Ancak, her seferinde değil ara sıra yeniden ayrıştırmak istiyorsanız, yapabileceğiniz şey, dosyayı ayrıştırırken oluşturulan .sinceDb yolunu manuel olarak silmektir. Genel olarak, kök dizinde bir kök kullanıcı değilseniz, ana dizinde gizli bir dosya olarak bulunur. Ayrıca sincedb_path'ı bu dosyayı kolayca izlemek için başka bir konuma da ayarlayabilirsiniz.

sincedb_path => "/home/shubham/sinceDB/productsSince.db"

Logstash seçenekleriyle uğraşmaktan kaçınmak istiyorsanız, mevcut günlük dosyasını yeniden adlandırmanın veya kaldırmanın ve eski dosya içeriğinden yeni bir dosya oluşturmanın logstash'i yeniden indekslemeye yönlendireceğini fark ettim.

Bunu ana sayfamda buldum, ancak sildikten sonra, logstash mevcut günlük dosyalarını yeniden seçmeyi reddetti. Bunu çalıştırma şeklim eklemekti

sincedb_path => "/opt/elk/sincedb/"  

benim dosya eklentisine. Her seferinde sıfırlamayı düşünüyorum, sadece sincedb_path yolunu değiştir

tar.gz install filebeat kullanıyorsanız, bu dosyayı silebilir $FilebeatPath/data/registry/filebeat/data.jsonve filebeat'i yeniden çalıştırabilirsiniz.

ENV'nizdeki /var/lib/logstashklasörü silerek deneyin

logstash sürüm 5 yeni dizin içinde

<path.data>/plugins/inputs/file

path.data tanımı logstash.yml içindedir